[論文レビュー] Top-$k$ eXtreme Contextual Bandits with Arm Hierarchy
本稿では、ラベル埋め込みに基づくアームの階層構造を活用して、数百万のアームを有する設定において、探索の効率化とリグレットの最小化を達成する階層的 top-$k$ eXtreme コンテキストバンドイットアルゴリズムを提案する。アームをラベル埋め込みに基づいて木構造にグループ化し、線形回帰を用いた逆ギャップ重み付けを適用することで、計算量とリグレットの総アーム数$A$への依存を低減した。300万アームのデータセットにおいて平均推論時間が7.9msにまで短縮され、従来手法比で100倍の高速化を達成した。
Motivated by modern applications, such as online advertisement and recommender systems, we study the top-$k$ extreme contextual bandits problem, where the total number of arms can be enormous, and the learner is allowed to select $k$ arms and observe all or some of the rewards for the chosen arms. We first propose an algorithm for the non-extreme realizable setting, utilizing the Inverse Gap Weighting strategy for selecting multiple arms. We show that our algorithm has a regret guarantee of $O(k\sqrt{(A-k+1)T \log (|\mathcal{F}|T)})$, where $A$ is the total number of arms and $\mathcal{F}$ is the class containing the regression function, while only requiring $ ilde{O}(A)$ computation per time step. In the extreme setting, where the total number of arms can be in the millions, we propose a practically-motivated arm hierarchy model that induces a certain structure in mean rewards to ensure statistical and computational efficiency. The hierarchical structure allows for an exponential reduction in the number of relevant arms for each context, thus resulting in a regret guarantee of $O(k\sqrt{(\log A-k+1)T \log (|\mathcal{F}|T)})$. Finally, we implement our algorithm using a hierarchical linear function class and show superior performance with respect to well-known benchmarks on simulated bandit feedback experiments using extreme multi-label classification datasets. On a dataset with three million arms, our reduction scheme has an average inference time of only 7.9 milliseconds, which is a 100x improvement.
研究の動機と目的
- 数百万のアームを有する極めて大きなアーム数を伴う top-$k$ コンテキストバンドイット問題におけるスケーラビリティ課題に取り組む。
- アーム総数$A$に比例して性能が著しく低下する標準的手法の計算コストとリグレットの非効率性を克服する。
- 報酬関数の構造的相関を活用する実用的なアーム階層モデルを導入し、統計的・計算的効率を向上させる。
- $A$に非線形的に依存するリグレットを達成しつつ、1ステップあたりの計算量を$\tilde{O}(A)$に保つ。
- 大規模なアーム数を有する実世界の eXtreme マルチラベル分類データセットにおいて、実験的に優れた性能を示す。
提案手法
- PIFAを用いたラベル埋め込みの再帰的2群分割クラスタリングにより、意味的に類似したアームをグループ化した階層的木構造をアーム空間に構築する。
- 各内部ノードにおけるルーティング関数を、小規模なホールドアウトデータセット上で学習した1対すべての線形分類器として定義し、アーム選択をガイドする。
- 階層的探索に対応した多アーム設定への拡張を施した逆ギャップ重み付け（IGW）を用い、各時刻における$k$個のアーム選択を実現する。
- オンラインフィードバックを用いて、各ノードおよびリーフで線形回帰モデル（$\tilde{f}(x,\tilde{a}) = \nu_{\tilde{a}}^T[x;1]$）を訓練し、報酬推定を実行する。
- 効果的なアームの特定のため、木構造上のビームサーチを実装し、非リーフノードが選択された場合にはその部分木からランダムサンプリングを行う。
- C++とEigenを用いて効率的な推論を実装し、大規模データセットにおける低遅延デプロイを可能にする。
実験結果
リサーチクエスチョン
- RQ1アーム空間における階層的構造が、各コンテキストに対して考慮すべき有効なアーム数を削減し、計算的・統計的効率を向上させ得るか？
- RQ2逆ギャップ重み付け（IGW）戦略を、極めて大きなアーム数を伴うコンテキストバンドイット問題における top-$k$ アーム選択に拡張できるか？
- RQ3提案手法の理論的リグレット境界は、$A$、$k$、$T$ に対してどのようにスケーリングするか？
- RQ4階層的モデルは、大規模データセットにおけるリグレット性能を損なわず、実用的な高速化（例：推論時間の短縮）を達成できるか？
- RQ5実世界のマルチラベルデータセットにおいて、標準的なベースライン（例：$\epsilon$-greedy、Boltzmann、IGW）と比較して、リグレットと推論効率の両面で優れた性能を示せるか？
主な発見
- 提案手法は、eXtreme設定において、$O(k\sqrt{(\log A - k + 1)T\log(|\mathcal{F}|T)})$ のリグレット境界を達成し、$A$に対して対数的依存性を示す一方で、線形依存性を回避した。
- 300万アームのデータセットにおいて、平均推論時間が7.9ミリ秒にまで短縮され、ベースライン手法比で100倍の高速化を達成した。
- 階層的構造のおかげで、各コンテキストあたりの関連アーム数が顕著に削減され、効率性とスケーラビリティの両面で向上した。
- Eurlex-4kデータセットにおけるハイパーパramータチューニングにより、最適なパラメータが得られた：$C=1.0$、$\beta=1.0$、$\epsilon=0.167$（それぞれのベースライン用）。
- シミュレーテッドバンドイットフィードバック実験において、標準的なベンチマークを上回るリグレット性能と推論効率を示した。大規模マルチラベルデータセットにおいて優れた性能を発揮した。
- 理論的リグレット保証を維持しつつ、実用的効率を達成したため、極めて大きなコンテキストバンドイット問題における理論と実世界のデプロイのギャップを埋めた。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。