[論文レビュー] Asymptotically Optimal Information-Directed Sampling

Johannes Kirschner, Tor Lattimore+2 more|arXiv (Cornell University)|Nov 11, 2020

Advanced Bandit Algorithms Research参考文献 26被引用数 10

ひとこと要約

本稿では、漸近的下界のラグランジュ関数から導かれる補助的関数を用いて情報利得を再定式化することで、確率的線形バンディットに対する漸近的に最適な情報誘導的サンプリング（IDS）アルゴリズムを提案する。この補助的関数に対して原双対更新を実行し、漸近的最適性と近似的最小最大の有限時刻レギュレートを両立する。実験結果では、UCB やベイジアン手法と同等またはそれ以上の性能を示す。

ABSTRACT

We introduce a simple and efficient algorithm for stochastic linear bandits with finitely many actions that is asymptotically optimal and (nearly) worst-case optimal in finite time. The approach is based on the frequentist information-directed sampling (IDS) framework, with a surrogate for the information gain that is informed by the optimization problem that defines the asymptotic lower bound. Our analysis sheds light on how IDS balances the trade-off between regret and information and uncovers a surprising connection between the recently proposed primal-dual methods and the IDS algorithm. We demonstrate empirically that IDS is competitive with UCB in finite-time, and can be significantly better in the asymptotic regime.

研究の動機と目的

• 確率的線形バンディットに対して、頻度主義的IDSアルゴリズムを設計し、漸近的最適性に加え、有限時刻においてほぼ最悪ケース最適性を達成すること。
• 情報誘導的サンプリングと最近のバンディット最適化における原双対手法との関係を明確にすること。
• 高確率的バインディングを避けて、単一の高確率的集中不等式に依存する、シンプルで効率的なIDSの変種を提供すること。
• 適切に選ばれた情報利得の補助的関数が、ベイジアン事前分布を必要とせずに最適なレギュレート行動を実現できることを示すこと。
• UCB やベイジアンベースライン（Thompson サンプリングや近似ベイジアン IDS を含む）と比較して、実験的に本手法の性能を検証すること。

提案手法

• アルゴリズムは、漸近的レギュレート下界のラグランジュ関数から導かれる補助的情報利得関数を用い、ベイジアン IDS で用いられる分散に基づく情報利得の代わりに採用する。
• 下界のラグランジュ関数に対して原双対更新を実行し、理論的最適割り当てと整合するように、レギュレートと情報利得のバランスを取る。
• 最適割り当ての線形近似を用いて計算されたトレードオフの最小化によって、行動を選択する。
• 各ラウンドで漸近的最適化問題を再解法するのを避けるために、双対変数に基づく動的でオンラインの更新ルールを用いる。
• 前人研究が推奨するように、簡略化された信頼係数 βₜ = σ²(2log(t) + d log log t) を使用し、頑健性を確保するとともにチューニングの複雑さを低減する。
• 計算コストを削減しながら性能を維持するため、推定された最適行動と1つの情報量の多い代替行動の間のトレードオフを最小化することで、近似IDS分布を計算する。

実験結果

リサーチクエスチョン

• RQ1 頻度主義的IDSアルゴリズムは、ベイジアン事前分布に依存せずに、確率的線形バンディットで漸近的最適性を達成できるか？
• RQ2 情報利得の補助的関数の選択が、IDSのレギュレートと計算効率に与える影響は何か？
• RQ3 IDSと漸近的下界から導かれた原双対手法との関係は何か？
• RQ4 シンプルで効率的なIDSの変種は、有限時刻および漸近的領域の両方でUCB や Thompson サンプリングを上回る性能を達成できるか？
• RQ5 アルゴリズムの性能は βₜ や ηₛ といったチューニングパラメータにどれほど敏感か？理論的根拠に基づく設定がほぼ最適な結果をもたらすか？

主な発見

• 提案されたIDSの変種は、漸近的下界から導かれた補助的ラグランジュ関数に対して原双対更新を実行することで、漸近的最適性を達成する。
• 実験結果では、本手法は漸近的領域においてUCBを上回り、大規模な時刻では顕著に低いレギュレートを示す。
• 半空間やセルベースの近似による補助的情報利得は、正確な分散に基づく利得とほぼ同等の性能を発揮し、近似の有効性を裏付けた。
• 信頼係数 βₜ のチューニングによりレギュレート性能が顕著に向上するが、学習率 ηₛ のチューニングはわずかな影響に留まるため、ηₛ = 1/√βₛ を頑健なデフォルトとして採用することが支持される。
• ベイジアンIDSに比べて性能が競合可能であり、ベイジアンIDSはすべての頻度主義的変種（最適チューニング済みIDSを含む）を上回る。
• 頻度主義的IDSは計算的にも効率的で、Thompson サンプリングの約5倍の速度で実行可能であり、中規模の問題への実世界の展開において実用的である。