[論文レビュー] Sparse Dueling Bandits

Kevin Jamieson, Sumeet Katariya+2 more|arXiv (Cornell University)|Jan 31, 2015

Advanced Bandit Algorithms Research参考文献 5被引用数 6

ひとこと要約

本稿では、順序比較行列における構造的スパarsityを活用して、Borda 勝者を顕著に低いサンプル複雑性で特定する、SECS（Successive Elimination with Comparison Sparsity）と呼ばれる新しいデュエルバンドイットアルゴリズムを提案する。比較の対象となる少数の『比較』アームに焦点を当てることで、SECS は実際にはほぼ線形のサンプル複雑性を達成し、アーム数に二次的に依存する標準的なBorda還元法を上回る。特に、MSLR-WEB10k や MQ2008 といった実世界のデータセットにおいて顕著な優位性を示す。

ABSTRACT

The dueling bandit problem is a variation of the classical multi-armed bandit in which the allowable actions are noisy comparisons between pairs of arms. This paper focuses on a new approach for finding the "best" arm according to the Borda criterion using noisy comparisons. We prove that in the absence of structural assumptions, the sample complexity of this problem is proportional to the sum of the inverse squared gaps between the Borda scores of each suboptimal arm and the best arm. We explore this dependence further and consider structural constraints on the pairwise comparison matrix (a particular form of sparsity natural to this problem) that can significantly reduce the sample complexity. This motivates a new algorithm called Successive Elimination with Comparison Sparsity (SECS) that exploits sparsity to find the Borda winner using fewer samples than standard algorithms. We also evaluate the new algorithm experimentally with synthetic and real data. The results show that the sparsity model and the new algorithm can provide significant improvements over standard approaches.

研究の動機と目的

• 多数のアームを含む大規模な設定において、既存のデュエルバンドイットアルゴリズムがBorda勝者を特定する際の高いサンプル複雑性に対処すること。
• コンドラセット勝者を仮定しない条件下で、順序比較行列における構造的スパarsity（上位アームの間での意味的な差が僅かに限られたセットに集中している）を活用する手法の開発。
• スパースな比較構造を活用することで、標準的なマルチアームバンドイットへの単純な還元法よりも理論的に優れたサンプル複雑性を達成するアルゴリズムの設計。
• 合成データおよび実世界のデータセット（Web検索ランク付け応用を含む）における理論的利点の検証。

提案手法

• SECSアルゴリズムは、スパースな『比較』アームのセットを用いて、順次的デュエル比較を通じて非最適なアームを除外することで、完全な順序比較に依存するのを減らす。
• 上位アームは、固定された少数の比較アームに対する性能の違いによって識別可能であると仮定し、そのスパarsity構造をアルゴリズム設計に明示的に組み込む。
• このスパースな基準アームとの比較結果に基づき、逐次的削除を実行し、Borda基準のもとで理論的保証を維持する。
• 理論的分析により、同じスパarsity仮定のもとで、P1合成行列においてSECSはO(n log n)のサンプル複雑性を達成するのに対し、Borda還元法はO(n² log n)であることが示された。
• モデルの不一致に対しても頑健であり、コンドラセット勝者の存在を仮定しないため、実世界の好みデータに適している。
• 実験では、モンテカルロシミュレーションを用いて実データセットから好み行列を推定し、k（比較アームの数）を変化させた状況でSECSとBorda還元（BR）を比較した。

実験結果

リサーチクエスチョン

• RQ1 順序比較行列における構造的スパarsityは、デュエルバンドイットにおけるBorda勝者の特定に向けたサンプル複雑性を低減するために活用可能か？
• RQ2 スパarsity仮定のもとで、SECSのサンプル複雑性は標準的なBorda還元法と比べてどのように異なるか？
• RQ3 コンドラセット勝者が存在しない実世界のデータセットにおいて、SECSアルゴリズムは高い正確性を維持できるか？
• RQ4 比較アームの数（k）を変化させた場合、SECSの性能およびサンプル複雑性にどのような影響があるか？
• RQ5 構造的仮定がなければ、Borda還元法は本質的に最適であるか、それともスパarsityに基づくアルゴリズムが著しく優れた性能を達成できるか？

主な発見

• P1合成行列において、SECSは対数-対数スケールで約1のサンプル複雑性勾配を達成し、理論的境界O(n log n)を裏付ける。一方、Borda還元法は勾配が2に近く、O(n² log n)の複雑性を裏付ける。
• MSLR-WEB10kデータセットの実験では、kが小さい場合、SECSはBorda還元法が要する比較回数の半分程度でBorda勝者を特定した。
• MQ2008データセットにおいても、kが小さい場合、SECSは顕著なサンプル複雑性の低減を示し、kが増加するにつれてBorda還元法に近づく性能を示した。
• 両方の実データセットにおいてBorda勝者が存在するが、MSLR-WEB10kではコンドラセット勝者が存在しないため、Borda基準の実用的利点が明確に示された。
• 理論的保証にもかかわらず、両データセットの75回の試行すべてでSECSは誤りを犯さなかった（kが小さい場合でさえも）、強固な経験的頑健性を示した。
• 理論的分析により、構造的仮定がなければBorda還元法が本質的に最適であることが確認され、スパarsityが存在する際にはSECSがその下限を改善することを示した。