[論文レビュー] Exploration by Optimisation in Partial Monitoring

Tor Lattimore, Csaba Szepesvári|arXiv (Cornell University)|Jul 12, 2019

Advanced Bandit Algorithms Research参考文献 34被引用数 20

ひとこと要約

この論文は、敵対的状況下での探索を改善するために最適化を用いる、部分監視ゲームのための新規で効率的なアルゴリズムを導入する。指数重みの分布を改良するための凸最適化問題を解くことで、非退化で局所的に観測可能なゲームに対して、最小最大のリグレット境界 $2mk^{3/2}\sqrt{3n\log(k)}$ を達成し、既知の最良の情報理論的上界と一致する。

ABSTRACT

We provide a simple and efficient algorithm for adversarial $k$-action $d$-outcome non-degenerate locally observable partial monitoring game for which the $n$-round minimax regret is bounded by $6(d+1) k^{3/2} \sqrt{n \log(k)}$, matching the best known information-theoretic upper bound. The same algorithm also achieves near-optimal regret for full information, bandit and globally observable games.

研究の動機と目的

• 有限な敵対的部分監視ゲームに対して、証明可能な最適なリグレットを達成する、単純で効率的なアルゴリズムの設計。
• 非退化で局所的に観測可能なゲームに対して、最適なリグレット境界が既に知られていたが、その構成的アルゴリズムが欠けていたという問題の解決。
• 統一されたフレームワークを通じて、バンディット、完全情報、グローバルに観測可能なゲームを含む、複数のゲームタイプにおいて近似的に最適なリグレットを達成すること。
• リグレット境界に依存する任意に大きなゲーム固有の定数を排除することで、スケーラビリティと実用性を確保すること。
• 簡単な実験を通じた高確率リグレット境界の導出と実証的検証。

提案手法

• リグレット境界に現れる安定性項を最小化するために、指数重みによって提示される分布を、凸最適化問題を解いて修正する。
• 重要度重み付き損失差推定器を用いて、観測された信号から行動価値差の不偏推定値を構築する。
• この手法の核となるのは、探索と安定性のバランスを取る凸最適化問題（式9）であり、その結果得られる分布は頑健で、良好な条件を持つ。
• ミニマックス双対性とベイジアンリグレット解析の知見を活用して、局所的に観測可能なゲームに対して適切な探索分布の存在を証明する。
• アルゴリズムはゲーム構造に適応可能であり、再設定なしにバンディット、完全情報、グローバルに観測可能な設定において、近似的に最適なリグレットを達成する。
• 集中不等式と安定性解析を用いて高確率リグレット境界を導出し、最適化の目的関数がリグレット保証に直接現れる。

実験結果

リサーチクエスチョン

• RQ1 非退化で局所的に観測可能な部分監視ゲームに対して、情報理論的に最適なリグレット境界を達成する単純で効率的なアルゴリズムを設計できるか？
• RQ2 凸最適化による指数重み分布の修正によって、部分監視における探索を体系的にどのように改善できるか？
• RQ3 1つのアルゴリズムがバンディット、完全情報、グローバルに観測可能なゲームなどの異なるゲームクラスに適応しつつ、近似的に最適なリグレットを維持できる範囲はどの程度か？
• RQ4 最適化問題が安定性項を制御し、多様なゲーム構造にわたってタイトなリグレット境界を保証するために果たす役割は何か？
• RQ5 「簡単な」ゲームにおいて、従来の手法が直面する大きなゲーム固有の定数に依存しないため、アルゴリズムがその依存を回避できるか？

主な発見

• 提案されたアルゴリズムは、非退化で局所的に観測可能なゲームに対して、最小最大のリグレット境界 $2mk^{3/2}\sqrt{3n\log(k)}$ を達成し、既知の最良の情報理論的上界と一致する。
• 同じアルゴリズムはバンディットゲームに対して $\sqrt{2nk\log(k)}$ のリグレット、完全情報ゲームに対して $\sqrt{2n\log(k)}$ のリグレットを達成し、優れた適応性を示す。
• 高確率リグレット境界が確立され、確率分布の仮定なしに敵対的フィードバック下でも信頼性の高いパフォーマンスを保証する。
• アルゴリズムは効率的かつ構成的であり、ミニマックス双対性を用いて最適なリグレット境界を非構成的かつ非構成的に示した先行研究のギャップを解消する。
• 最適化に基づく探索メカニズムは、指数重みの安定性項を効果的に制御し、よりタイトなリグレット保証をもたらす。
• このフレームワークは、フォローザ・レギュラー化ドリーダー（follow-the-regularized-leader）などの他のポテンシャルへも拡張可能であり、将来の改善のためのログバリアントや楽観的戦略の統合も可能である。