[論文レビュー] Regret in Online Combinatorial Optimization

Jean-Yves Audibert, Sébastien Bubeck+1 more|arXiv (Cornell University)|Apr 20, 2012

Advanced Bandit Algorithms Research参考文献 23被引用数 5

ひとこと要約

本稿は、ハミング重みが固定された二値ベクトルである行動をとるオンライン組合せ最適化におけるレグレットを分析する。本稿では、新しいミラー降下とINF戦略の組み合わせを用いて、半バンドイットフィードバックモデルにおける最適なレグレットバウンドを確立する。一方、完全情報設定における指数加重平均予測器は劣化していることが示され、バンドイット設定における最適レグレットの推測がなされる。

ABSTRACT

We address online linear optimization problems when the possible actions of the decision maker are represented by binary vectors. The regret of the decision maker is the difference between her realized loss and the best loss she would have achieved by picking, in hindsight, the best possible action. Our goal is to understand the magnitude of the best possible (minimax) regret. We study the problem under three different assumptions for the feedback the decision maker receives: full information, and the partial information models of the so-called "semi-bandit" and "bandit" problems. Combining the Mirror Descent algorithm and the INF (Implicitely Normalized Forecaster) strategy, we are able to prove optimal bounds for the semi-bandit case. We also recover the optimal bounds for the full information setting. In the bandit case we discuss existing results in light of a new lower bound, and suggest a conjecture on the optimal regret in that case. Finally we also prove that the standard exponentially weighted average forecaster is provably suboptimal in the setting of online combinatorial optimization.

研究の動機と目的

• 固定された基数を持つ二値行動を伴うオンライン線形最適化におけるミニマックスレグレットを理解すること。
• 組合せ設定における完全情報、半バンドイット、バンドイットフィードバックモデルの性能ギャップを分析すること。
• 特に指数加重平均予測器の最適性を評価すること。
• ミラー降下とINF戦略をハイブリッド化した手法を用いて、半バンドイットモデルにおける最初の最適なレグレットバウンドを確立すること。
• 新しい下界を用いて、バンドイットフィードバックモデルにおける最適レグレットの推測を提示すること。

提案手法

• 行動が {0,1}^d に属し、l1ノルムが固定された m であるオンライン線形最適化の枠組みを用いる。
• 3つのフィードバックモデルを分析する：完全情報（z_t を観測）、半バンドイット（a_t(i)z_t(i) を観測）、バンドイット（a_t^T z_t を観測）。
• バグレマン発散を用いたミラー降下を適用し、フィードバック構造に適応する戦略を設計する。
• ミラー降下とINF（暗黙的正規化予測器）戦略を組み合わせることで、半バンドイットモデルにおける最適なレグレットを達成する。
• バンドイット設定における新たな下界を導出し、既存の上界のタイトネスを評価する。
• カルバック・ライブーラー発散と集中不等式を用いて、レグレットおよび確率分布間の発散を分析する。

実験結果

リサーチクエスチョン

• RQ1 完全情報フィードバック下でのオンライン組合せ最適化において、指数加重平均予測器は最適か？
• RQ2 統一された戦略が、組合せ行動における半バンドイットフィードバックモデルで最適なレグレットを達成できるか？
• RQ3 固定重み付き行動を伴う組合せ最適化におけるバンドイットフィードバックモデルで達成可能なミニマックスレグレットは何か？
• RQ4 フィードバック構造（完全情報、半バンドイット、バンドイット）が、組合せオンライン学習におけるレグレットの根本的限界にどのように影響するか？
• RQ5 バンドイットモデルにおける新たな下界は、最適レグレットのスケーリングを特定するのを助けるか？

主な発見

• 指数加重平均予測器は、オンライン組合せ最適化の完全情報設定において、明確に劣化していることが証明された。
• ミラー降下とINF戦略をハイブリッド化した手法を用いて、半バンドイットモデルにおける最初の最適なレグレットバウンドが確立された。
• 半バンドイットモデルのレグレットバウンドは、n ラウンド、d 次元、行動サイズ m の場合、O(√(m n log d)) である。
• バンドイットモデルにおける新たな下界は、最適レグレットが Ω(√(m n log d)) のスケーリングをとる可能性があることを示唆しており、既知の上界と対数要因を除いて一致する。
• 本稿は、バンドイットモデルにおける最適レグレットが Θ(√(m n log d)) であると推測しており、下界および既存の上界と整合的である。