[論文レビュー] Hyper-parameter Tuning for the Contextual Bandit

Djallel Bouneffouf, Emmanuelle Claeys|arXiv (Cornell University)|May 4, 2020

Advanced Bandit Algorithms Research参考文献 25被引用数 5

ひとこと要約

本稿では、メタバンディットアプローチを用いて文脈バンディットにおける最適な探索パラメータ（$\alpha$）を動的に学習する2つのアルゴリズム、OPLINUCBおよびDOPLINUCBを提案する。探索チューニングを文脈バンディット問題として扱うことで、これらの手法は文脈と即時の報酬に基づいて$\alpha$を適応的に調整し、特に非定常環境においては固定された$\alpha$の選択を上回る性能を示す。これは、マルチアームバンディットにおける自動化されたハイパーパramータチューニングへの第一歩を示している。

ABSTRACT

We study here the problem of learning the exploration exploitation trade-off in the contextual bandit problem with linear reward function setting. In the traditional algorithms that solve the contextual bandit problem, the exploration is a parameter that is tuned by the user. However, our proposed algorithm learn to choose the right exploration parameters in an online manner based on the observed context, and the immediate reward received for the chosen action. We have presented here two algorithms that uses a bandit to find the optimal exploration of the contextual bandit algorithm, which we hope is the first step toward the automation of the multi-armed bandit algorithm.

研究の動機と目的

• LINUCBにおける探索パラメータ$\alpha$の手動チューニングの課題に対処すること。これは重要ではあるが、事前に設定することが難しい。
• 文脈と報酬フィードバックに基づいて、リアルタイムで最適な$\alpha$を学習する適応的アルゴリズムの開発。
• 従来の文脈バンディット学習を拡張し、探索と活用のトレードオフを階層的バンディット問題としてモデル化することで、自動化を実現すること。
• 提案されたアルゴリズムの安定性と適応性を評価するため、定常的および非定常的環境での評価。
• 動的探索チューニングが、固定または最良の固定$\alpha$ベースラインと比較して、より良い累積リグレットを達成することの実証。

提案手法

• OPLINUCBは、現在の文脈に基づいて、離散的集合$[0.01, 1]$（ステップ0.01）から$\alpha$を選択する文脈バンディット（CTree）を用いる。
• DOPLINUCBは二段階のバンディット構造を導入する：第一段階でCTreeが$\alpha$を選択し、第二段階で選択された$\alpha$を用いてLINUCBが行動を選択する。
• CTreeアルゴリズムは、文脈と最適な$\alpha$の関係をモデル化し、探索調整のためのポリシーを学習する。
• LINUCBはベースラインアルゴリズムとして用いられ、上界信頼区間（UCB）探索が適用され、$\alpha$が探索ボーナスを制御する：$p_{t,a} = \hat{\mu}_a^T x_t + \alpha \sqrt{x_t^T A_a^{-1} x_t}$。
• オンラインリッジ回帰により、各行動後、重み推定値$\hat{\mu}_a$および共分散行列$A_a$が$x_{t,a}$と観測報酬$r_t$を用いて更新される。
• これらのアルゴリズムは、二値報酬を用いた実世界のデータセット（例：Adult）上で訓練および評価され、累積リグレットを主な指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 メタバンディットアプローチを用いて、手動チューニングなしに文脈バンディットにおける最適な探索パラメータ（$\alpha$）を学習できるか？
• RQ2 文脈に基づく動的$\alpha$選択は、定常的環境において固定$\alpha$と比較して性能をどのように向上させるか？
• RQ3 提案手法は、報酬関数が時間とともに変化する非定常的環境に適応できるか？
• RQ4 文脈と$\alpha$の依存関係を学習することは、最良の固定$\alpha$を選択するのと比較して、より良い累積リグレットをもたらすか？
• RQ5 オンラインで文脈に依存するハイパーパramータチューニングにより、LINUCBにおける探索と活用のトレードオフを自動化することは可能か？

主な発見

• 定常的環境では、OPLINUCBは固定$\alpha$値の中央値および平均を常に上回るが、最良の個別$\alpha$には到達しない。
• 100、1000、10,000イタレーション目で報酬が変化する非定常的環境において、DOPLINUCBは最良の固定$\alpha$よりも低い累積リグレットを達成し、1,000回のスイッチ時における平均リグレットは13,569であったのに対し、最良の固定$\alpha$の最小値は15,331であった。
• 1,000回のスイッチシナリオにおいて、DOPLINUCBは最良の固定$\alpha$と比較して平均累積リグレットを約12％削減した。
• OPLINUCBの性能は、すべての訓練データセットサイズ（0〜10,000）において安定しており、平均リグレットは固定$\alpha$値の中央値および平均を常に下回った。
• 結果から、非定常的環境では文脈依存の探索ポリシーを学習することが有益であることが確認され、静的$\alpha$選択では適応できないことが示された。
• 提案されたアルゴリズムは、文脈バンディットにおけるハイパーパramータチューニングの自動化が可能でかつ効果的であることを示しており、特に報酬ダイナミクスが時間とともに変化する状況において顕著である。