[論文レビュー] Asynchronous Parallel Empirical Variance Guided Algorithms for the Thresholding Bandit Problem

Jie Zhong, Yijun Huang+1 more|arXiv (Cornell University)|Apr 15, 2017

Advanced Bandit Algorithms Research参考文献 29被引用数 6

ひとこと要約

本稿では、閾値バンドイット問題に対する非同期並列の経験的分散誘導アルゴリズム（EVTおよびAP-EVT）を提案する。これらの手法は、経験的平均と分散の両方を活用することで、状態の最良手法であるATPアルゴリズムを改善し、ラウンド複雑度を低減する。提案手法は最適な性能を達成し、観測されていない報酬に基づく意思決定を可能にし、臨床試験やハイパーパramータチューニングなどの遅延が生じやすい環境での効率を著しく向上させる。

ABSTRACT

This paper considers the multi-armed thresholding bandit problem -- identifying all arms whose expected rewards are above a predefined threshold via as few pulls (or rounds) as possible -- proposed by Locatelli et al. [2016] recently. Although the proposed algorithm in Locatelli et al. [2016] achieves the optimal round complexity in a certain sense, there still remain unsolved issues. This paper proposes an asynchronous parallel thresholding algorithm and its parameter-free version to improve the efficiency and the applicability. On one hand, the proposed two algorithms use the empirical variance to guide the pull decision at each round, and significantly improve the round complexity of the "optimal" algorithm when all arms have bounded high order moments. The proposed algorithms can be proven to be optimal. On the other hand, most bandit algorithms assume that the reward can be observed immediately after the pull or the next decision would not be made before all rewards are observed. Our proposed asynchronous parallel algorithms allow making the choice of the next pull with unobserved rewards from earlier pulls, which avoids such an unrealistic assumption and significantly improves the identification process. Our theoretical analysis justifies the effectiveness and the efficiency of proposed asynchronous parallel algorithms.

研究の動機と目的

• 既存のバンドイットアルゴリズムが次のプル意思決定の前に全報酬観測を必要とすることによる非効率性、特に高レイテンシなアプリケーションにおいての課題を解決すること。
• 最適なATPアルゴリズムのラウンド複雑度を、プル意思決定に経験的分散を組み込むことで改善すること。
• 部分的報酬観測に基づいて意思決定が可能な並列的で非同期的なフレームワークを設計し、スケーラビリティと速度を向上させること。
• 全ラウンド数やパラメータの事前知識が不要なパラメータフリーのバージョン（EVT_pfおよびAP-EVT_pf）を設計し、理論的保証を維持すること。
• 提案手法の有効性と効率性を、現実的な非同期的かつ遅延フィードバック条件下で理論的および実験的に検証すること。

提案手法

• 経験的平均と分散の両方を用いてアームプルの優先順位を決定する、経験的分散誘導型閾値バンドイット（EVT）アルゴリズムを提案し、ラウンド複雑度を低減する。
• すべての過去の報酬が観測される前に次のプルの意思決定が可能な、非同期並列EVT（AP-EVT）アルゴリズムを導入する。
• 測度変換技術とフーフィングの不等式を用いて、KL発散推定値の上限を導出し、アーム同定の信頼区間を導出する。
• 経験的平均と分散に基づく閾値ルールを用いて、アームを事前に定義された閾値より上か下かに分類する。
• 全アームおよび全ラウンドにおける集中不等式と和集合不等式を用いて、期待損失と同定誤差の理論的上限を導出する。
• 観測データに基づいて動的に探索を調整することで、パラメータフリーのバージョンを構築し、全ラウンド数や信頼水準の事前知識が不要になるようにする。

実験結果

リサーチクエスチョン

• RQ1 経験的分散をアーム選択に組み込むことで、平均のみの手法と比較して、閾値バンドイット問題におけるラウンド複雑度を低減できるか？
• RQ2 遅延フィードバック下での理論的保証と実用的効率に、非同期並列設計がどのように影響を与えるか？
• RQ3 パラメータフリーの分散誘導型アルゴリズムのバージョンは、全ラウンド数や信頼水準の事前知識がなくても最適な性能を維持できるか？
• RQ4 並列バンドイット設定において、未観測（保留中）の報酬がラウンド複雑度と誤差確率に与える影響は何か？
• RQ5 分散誘導型アルゴリズムは、ATPアルゴリズムと比較して、収束速度と正確性の面でどの程度優れているか？

主な発見

• EVTアルゴリズムは、分散が小さい場合に特に顕著にATPアルゴリズムを下回るラウンド複雑度を達成し、有界な高次モーメント下で最適であることが証明されている。
• AP-EVTアルゴリズムは、保留中の報酬と観測済み報酬の比が支配的でない限り、未観測報酬が存在する状況でもほぼ最適なラウンド複雑度を維持する。
• パラメータフリーのバージョンであるEVT_pfおよびAP-EVT_pfは、全ラウンド数や信頼水準の事前知識がなくても、パラメータ依存型の対応バージョンと同等の理論的保証を達成する。
• 実験的結果から、AP-EVTおよびEVTはパラメータフリー版をわずかに上回る性能を示すが、両者とも強力な性能を維持している。
• 理論的分析により、期待損失がラウンド複雑度の指数関数的に下限され、提案手法の最適性が確立された。
• 測度変換および集中不等式の技術により、同定誤差が適切に上限付けられ、非同期的かつ遅延フィードバック条件下でもロバストであることが証明された。