[論文レビュー] Approachability in unknown games: Online learning meets multi-objective optimization

Shie Mannor, Vianney Perchet+1 more|arXiv (Cornell University)|Feb 10, 2014

Advanced Bandit Algorithms Research参考文献 20被引用数 8

ひとこと要約

本稿は、ゲーム構造を事前に知らない状況下で、任意のベクトル値報酬を観測する意思決定者を想定し、未知のゲームにおける到達可能性のための新規フレームワークを提示する。この手法は、観測された報酬に基づいて後向きに最小で達成可能なターゲット集合に適応的に近づく戦略を提案し、射影を回避し、凸包緩和よりも優れた性能を発揮する。その根拠は、エピソード内でスカラーレグレット最小化を活用することにあり。

ABSTRACT

In the standard setting of approachability there are two players and a target set. The players play repeatedly a known vector-valued game where the first player wants to have the average vector-valued payoff converge to the target set which the other player tries to exclude it from this set. We revisit this setting in the spirit of online learning and do not assume that the first player knows the game structure: she receives an arbitrary vector-valued reward vector at every round. She wishes to approach the smallest ("best") possible set given the observed average payoffs in hindsight. This extension of the standard setting has implications even when the original target set is not approachable and when it is not obvious which expansion of it should be approached instead. We show that it is impossible, in general, to approach the best target set in hindsight and propose achievable though ambitious alternative goals. We further propose a concrete strategy to approach these goals. Our method does not require projection onto a target set and amounts to switching between scalar regret minimization algorithms that are performed in episodes. Applications to global cost minimization and to approachability under sample path constraints are considered.

研究の動機と目的

• ゲーム構造が事前に不明な状況下で到達可能性理論を構築すること。この際、観測可能なのはベクトル値報酬のみである。
• 元のターゲット集合が到達不能である場合に、後向きに意味的かつ達成可能なターゲット集合を定義すること。
• 標準的な到達可能性と凸包緩和の限界を克服し、より野心的だが現実可能な代替目標を提示すること。
• 射影を必要としない実用的なアルゴリズムを設計し、計算上の実行可能性を向上させること。
• 既知のゲームダイナミクスを仮定せずに、グローバルコスト最小化やサンプルパス制約問題への到達可能性の適用を拡張すること。

提案手法

• この手法は、報酬関数の事前知識がないベクトル値バンディット設定においてレギュレートを最小化する問題として問題を定式化する。
• 観測された平均報酬に応じて、エピソード内でスカラーレグレット最小化アルゴリズムを切り替える戦略を導入する。
• 固定された集合への射影を避けるために、個々の応答に基づく後向きのターゲット集合を直接最適化することで、射影を回避する。
• 個々の応答に基づく関数の凸化に基づく新しいターゲット集合のクラスを定義し、それが達成可能であることを示す。
• アルゴリズムは、相手の行動の経験的頻度を用いて最良応答を推定し、観測データに基づいてターゲット関数を動的に調整する。
• 制約集合をターゲット関数推定の一部として扱うことで、制約付き最適化問題への一般化が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ゲーム構造が未知で、ベクトル値報酬のみが観測可能な状況下で、意思決定者が後向きに最小のターゲット集合に到達できるか？
• RQ2 未知のゲームにおいて、最良応答関数の凸包よりも厳密に小さいターゲット集合を達成できるか？
• RQ3 最良応答ターゲット集合が到達不能である場合に、どのような代替目標が達成可能か？
• RQ4 特に高次元または複雑な設定において、ターゲット集合への射影を必要とせずに到達可能性を達成できるか？
• RQ5 このフレームワークは、既知のゲームダイナミクスを仮定せずに、グローバルコスト最小化やサンプルパス制約付き問題に適用可能か？

主な発見

• 一般に、最良応答ターゲット集合に到達することは不可能であり、それは最も望ましい目標であるにもかかわらず。
• 最良応答関数の凸包は達成可能ではあるが、あまりに消極的であり、適応的学習の潜在的力を十分に捉えていない。
• 個々の応答関数の凸化に基づく、達成可能でより野心的なターゲット集合の新クラスを、提案された戦略によって到達可能である。
• 提案されたアルゴリズムは射影を回避するため、標準的な到達可能性手法よりも計算的に効率的である。
• 本手法は、制約付きレギュレート最小化およびグローバルコスト最小化の既存結果を一般化し、未知のゲームに統一的なフレームワークを提供する。
• スカラーパイロットと制約の特別な場合において、本手法は既知の結果を回復するが、それらを改善しない。これは、先行研究と整合性があることを確認する。