[論文レビュー] Leveraging Good Representations in Linear Contextual Bandits

Matteo Papini, Andrea Tirinzoni+3 more|arXiv (Cornell University)|Apr 8, 2021

Advanced Bandit Algorithms Research参考文献 35被引用数 8

ひとこと要約

本稿では、線形文脈的バンディットにおけるM個の候補表現の中から最適なものを適応的に選択する新しいアルゴリズムLEADERを提案する。『良い』表現が集合内に存在する限り、問題依存のリグレットが定数に保たれる。さらに、初期の候補表現に最適なものが存在しない場合でも、表現の組み合わせを通じて『良い』表現を暗黙的に構築可能であり、最良の表現の事前知識がなくても定数リグレットを達成可能であることを示している。

ABSTRACT

The linear contextual bandit literature is mostly focused on the design of efficient learning algorithms for a given representation. However, a contextual bandit problem may admit multiple linear representations, each one with different characteristics that directly impact the regret of the learning algorithm. In particular, recent works showed that there exist "good" representations for which constant problem-dependent regret can be achieved. In this paper, we first provide a systematic analysis of the different definitions of "good" representations proposed in the literature. We then propose a novel selection algorithm able to adapt to the best representation in a set of $M$ candidates. We show that the regret is indeed never worse than the regret obtained by running LinUCB on the best representation (up to a $\ln M$ factor). As a result, our algorithm achieves constant regret whenever a "good" representation is available in the set. Furthermore, we show that the algorithm may still achieve constant regret by implicitly constructing a "good" representation, even when none of the initial representations is "good". Finally, we empirically validate our theoretical findings in a number of standard contextual bandit problems.

研究の動機と目的

• 線形文脈的バンディットにおいて定数リグレットを実現する『良い』表現の定義を、既存の定義を体系的に分析・比較すること。
• M個の候補表現の中から最良のものを適応的に選択する表現選択アルゴリズムを設計し、最良の個別表現のリグレットに比べてlog M要因以内に抑えることを保証すること。
• 個々の候補表現が最良でない場合でも、組み合わせによって『良い』表現を暗黙的に構築できることを示し、最良の表現の事前知識がなくても定数リグレットを達成できることを示すこと。
• 標準的な文脈的バンディット問題において理論的予測を実験的に検証すること。

提案手法

• M個の基本的なLinUCBアルゴリズム（それぞれ異なる候補表現で訓練）からなるマスターアルゴリズムであるLEADERを提案する。
• 表現間の信頼区間の重み付き組み合わせを用い、高いパフォーマンスを示す表現を優遇する指数的重み付けスキームにより重みを更新する。
• 最良の表現に関するリグレットを上回る項を含む、新たな解析フレームワークを導入し、表現選択に起因するlog Mのペナルティを反映する。
• 複数の候補からの特徴を組み合わせることで、新たな暗黙的『良い』表現を構築する表現結合メカニズムを導入する。
• 行列濃度および固有値解析を活用し、組み合わせ表現が定数リグレットを達成するにあたり、望ましい幾何的性質を維持することを示す。
• リグレット解析における逆共分散行列のバインドに、Kantorovich型不等式を適用し、表現変更に対して安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 線形文脈的バンディットにおいて、定数問題依存リグレットを達成するための表現に必要な条件は何か？
• RQ2 最良の表現が事前に不明な状況下で、M個の候補表現の中から最良のものを適応的に選択するアルゴリズムはどのように設計できるか？
• RQ3 個々の候補表現が最良でない場合でも、組み合わせによって『良い』表現を暗黙的に構築できるか？
• RQ4 複数の候補表現が存在する状況下で、表現選択アルゴリズムのリグレットにどのような理論的保証を提供できるか？
• RQ5 提案されたアルゴリズムの性能は、標準的な文脈的バンディット問題において、ベースラインのLinUCBと比較してどのように異なるか？

主な発見

• LEADERのリグレットは、集合内に存在する最良の個別表現のリグレットに、Mの対数要因を加えたもので上界が保証され、性能の劣化がないことを示している。
• 集合内に『良い』表現が存在する場合、LEADERはホライズンnに依存しない定数問題依存リグレットを達成する。
• LEADERは特徴の組み合わせを通じて『良い』表現を暗黙的に構築可能であり、個々の候補表現が最良でない場合でも定数リグレットを達成可能である。
• アルゴリズムのリグレットバウンドは、最良の表現に対するO(log M)のスケーリングを示し、表現集合のサイズに強く依存しないことを示している。
• 標準的な文脈的バンディット問題における実験結果から、LEADERは最良の個別表現におけるLinUCBの性能を再現または上回ることが確認された。
• 理論的解析により、固有値バウンドによる逆共分散行列の精密な制御を通じて、アルゴリズムの安定性とパフォーマンスが維持されることを示した。