[論文レビュー] First-order regret bounds for combinatorial semi-bandits

Gergely Neu|arXiv (Cornell University)|Feb 23, 2015

Advanced Bandit Algorithms Research参考文献 29被引用数 14

ひとこと要約

この論文は、最適な固定行動の合計損失 $L_T^*$ に比例して $ widetilde{\mathcal{O}}(\sqrt{L_T^*})$ となる1次レジーム境界を達成する、組合せ的セミバンディットオンライン学習のための新規アルゴリズム FPL-TrIX を提案する。$L_T^*$ は最適な固定行動の合計損失を表す。逐次的指数的摂動と適応的バイアスおよび探索を組み合わせることで、部分的フィードバックを伴う組合せ的設定における標準的な $ widetilde{\mathcal{O}}(\sqrt{T})$ レジーム境界を改善する。

ABSTRACT

We consider the problem of online combinatorial optimization under semi-bandit feedback, where a learner has to repeatedly pick actions from a combinatorial decision set in order to minimize the total losses associated with its decisions. After making each decision, the learner observes the losses associated with its action, but not other losses. For this problem, there are several learning algorithms that guarantee that the learner's expected regret grows as $\widetilde{O}(\sqrt{T})$ with the number of rounds $T$. In this paper, we propose an algorithm that improves this scaling to $\widetilde{O}(\sqrt{L_T^*})$, where $L_T^*$ is the total loss of the best action. Our algorithm is among the first to achieve such guarantees in a partial-feedback scheme, and the first one to do so in a combinatorial setting.

研究の動機と目的

• 最適損失 $L_T^*$ に比例する1次レジーム境界を達成することで、組合せ的セミバンディット問題におけるレジーム境界のギャップを埋める。
• 観測された損失のみ（選択された行動の損失のみ）が得られる部分的フィードバック環境下でも、低レジームを維持できる計算効率の良いアルゴリズムを開発すること。
• 従来、完全情報または非組合せ的設定でのみ知られていた1次レジーム保証を、より困難な組合せ的セミバンディットフレームワークへと拡張すること。
• 低損失領域におけるレジーム性能の向上に寄与する適応的探索およびバイアス制御機構の理論的基盤を提供すること。

提案手法

• 分散とバイアスを制御するため、切り捨てられた指数的摂動を用いた Follow-the-Perturbed-Leader (FPL) に基づく FPL-TrIX アルゴリズムを提案する。
• 観測された損失と推定値の信頼性に基づいて、動的に探索を調整する適応的バイアスパラメータ $\gamma_t$ を導入する。
• 推定誤差を抑え、高分散状況でも安定性を確保するため、切り捨てられた損失推定子 $\widehat{\ell}_{t,i}$ を採用する。
• 切り捨てによって生じるバイアスを補正するため、$\widetilde{q}_{t,i}$ を用いた再重み付け方式を採用し、期待損失推定の一貫性を保証する。
• 摂動と信頼区間に関する補題を用いて、推定損失の2次モーメントと推定子のバイアスをバウンディングする、新しい分析フレームワークを適用する。
• 集中不等式を組み合わせ、推定損失と真の損失の期待値の乖離をバウンディングすることで、レジーム境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 従来、完全情報または非組合せ的設定でのみ知られていた1次レジーム境界を、組合せ的セミバンディット問題へと拡張することは可能か？
• RQ2 $L_T^*$ の事前知識がなくとも、適応的探索とバイアス制御が低損失領域におけるレジーム性能をどのように向上させるか？
• RQ3 部分的フィードバックを伴う組合せ的設定で1次レジームを達成するために、FPL にどのような変更が必要か？
• RQ4 セミバンディットフィードバック環境下でも、$ widetilde{\mathcal{O}}(\sqrt{L_T^*})$ のレジーム境界を達成しつつ、計算効率を維持することは可能か？

主な発見

• 提案された FPL-TrIX アルゴリズムは、$\widetilde{\mathcal{O}}(\sqrt{L_T^*})$ の1次レジーム境界を達成し、標準的な $ widetilde{\mathcal{O}}(\sqrt{T})$ スケーリングを改善する。
• 切り捨てられた摂動と適応的バイアスを用いることで、計算効率が維持され、完全な探索や複雑な最適化を回避できる。
• 理論的分析により、切り捨てと適応的重み付けによって生じるバイアスがバウンデッドかつ制御可能であることが示され、最適行動への収束が保証される。
• 補題により、推定損失の2次モーメントが $m\sum_j \widehat{\ell}_{t,j}$ でバウンデッドであることが示され、レジーム成長の制御に不可欠である。
• 推定損失のバイアスが $\left(\gamma_t + \beta_t d\right)\sum_j \widehat{\ell}_{t,j}$ 以下であることが示され、パrameterチューニングにより管理可能である。
• アルゴリズムは悪質な環境に対してもロバストであり、わずかな修正で高確率境界へと拡張可能であるが、そのような境界を得るには $L_T^*$ の知識が必要である。