[論文レビュー] Pure Exploration with Multiple Correct Answers

Rémy Degenne, Wouter M. Koolen|arXiv (Cornell University)|Feb 9, 2019

Advanced Bandit Algorithms Research参考文献 21被引用数 12

ひとこと要約

本稿は、複数の正解が存在する多腕バンディットにおける純粋探索を扱い、漸近的に最適なサンプル複雑度を達成する新しいアルゴリズムである Sticky Track-and-Stop を提案する。複数正解設定におけるオラクル重みの凸性の欠如を特定し、これにより標準的な Track-and-Stop が破綻することを示し、オラクル重み集合の端点への収束を安定化させるようにトラッキング機構を変更することでこれを解決する。これにより、新たな情報理論的下界と一致する漸近的最適性が達成される。

ABSTRACT

We determine the sample complexity of pure exploration bandit problems with multiple good answers. We derive a lower bound using a new game equilibrium argument. We show how continuity and convexity properties of single-answer problems ensures that the Track-and-Stop algorithm has asymptotically optimal sample complexity. However, that convexity is lost when going to the multiple-answer setting. We present a new algorithm which extends Track-and-Stop to the multiple-answer case and has asymptotic sample complexity matching the lower bound.

研究の動機と目的

• 複数のアームが正解である可能性がある純粋探索バンディット問題のサンプル複雑度を特徴づけること。
• 複数正解問題におけるオラクル重みの凸性の失敗を特定し、これが標準的な Track-and-Stop の手法を破綻させる理由を明らかにすること。
• 非凸設定においてトラッキングを安定化させ、漸近的最適性を達成する新しいアルゴリズムを開発すること。
• 複数正解問題における新たな情報理論的下界を導出すること。

提案手法

• 複数正解設定におけるオラクル重み集合の端点（コーナー）への収束を保証するように、Track-and-Stop のトラッキング機構を変更した新しいアルゴリズム、Sticky Track-and-Stop を提案する。
• 最適オラクル重みの凸包の内部点への収束を防ぐための「スティック（接着）」機構を導入する。
• ゲーム理論的均衡の議論を用いて、複数正解問題におけるサンプル複雑度の新たな下界を導出する。
• オラクル重みの連続性および集合値性を分析し、複数正解設定では上位半連続であるが凸でないことを示す。
• ラグランジュ双対性および最適化技術を用いて、特定の問題構造（例：超平面、半空間、球面）におけるオラクル重みの計算を行う。
• サンプル複雑度が誤ったモデル集合への発散の逆数に比例することを確立し、独立な部分問題に分解できることを示す。

実験結果

リサーチクエスチョン

• RQ1 複数正解が存在する純粋探索バンディット問題における根本的なサンプル複雑度の限界は何か？
• RQ2 単一正解問題では最適性を示す標準的な Track-and-Stop アルゴリズムが、なぜ複数正解設定では失敗するのか？
• RQ3 非凸設定において、正しいオラクル重み分布への収束を安定化させるために、トラッキング機構をどのように変更できるか？
• RQ4 複数正解設定において、オラクル重みマッピングのどのような構造的性質が凸性を破壊するか？
• RQ5 修正されたアルゴリズムは、複数正解設定において漸近的最適性を達成できるか？

主な発見

• オラクル重みマッピングは複数正解設定では上位半連続であるが凸でないため、標準的な Track-and-Stop の収束が無効化される。
• 変更のない Track-and-Stop は、最適オラクル重みの凸包全体の分布への収束（法則として）を示し、性能が劣化する。
• Sticky Track-and-Stop アルゴリズムは、オラクル重み集合の端点（コーナー）へのみ収束を安定化させ、内部混合への収束を回避する。
• このアルゴリズムは、新たな情報理論的下界と一致する漸近的サンプル複雑度を達成し、漸近的最適性を証明する。
• 超平面、半空間、球面などの構造的問題において、ラグランジュ双対性を用いてオラクル重みおよび発散の閉形式表現を導出する。
• 独立な部分問題のサンプル複雑度は線形に加算可能であり、誤った集合への発散が個々の発散の和としてスケーリングされることを確認する。