[論文レビュー] An Adaptive Algorithm for Finite Stochastic Partial Monitoring

Gábor Bartók, Navid Zolghadr+1 more|arXiv (Cornell University)|Jun 27, 2012

Advanced Bandit Algorithms Research参考文献 10被引用数 23

ひとこと要約

本稿では、有限の確率的部分観測問題に対して、近似的にミニマックスレグレットを達成する適応的アルゴリズムを提示する。『簡単』な問題では対数的個別レグレットを達成し、妥当な仮定の下で動的価格設定ではO(√T)のレグレットを達成する。このアルゴリズムは、観測されたフィードバックに基づいて戦略を自動的に調整することで、問題クラスに関する事前知識なしに最適な性能を達成する。

ABSTRACT

We present a new anytime algorithm that achieves near-optimal regret for any instance of finite stochastic partial monitoring. In particular, the new algorithm achieves the minimax regret, within logarithmic factors, for both "easy" and "hard" problems. For easy problems, it additionally achieves logarithmic individual regret. Most importantly, the algorithm is adaptive in the sense that if the opponent strategy is in an "easy region" of the strategy space then the regret grows as if the problem was easy. As an implication, we show that under some reasonable additional assumptions, the algorithm enjoys an O(\sqrt{T}) regret in Dynamic Pricing, proven to be hard by Bartok et al. (2011).

研究の動機と目的

• 有限の確率的部分観測問題のすべてのインスタンスにおいて、近似的に最適なレグレットを達成する、いつでも利用可能なアルゴリズムの開発。
• 問題の難易度に適応し、問題が『簡単』な場合に対数的個別レグレットを達成するアルゴリズムの保証。
• 先行研究で難易度が示された問題であるにもかかわらず、妥当な仮定の下で動的価格設定においてO(√T)のレグレットを達成できるかの検証。
• 部分観測フレームワークにおいて『簡単』および『難しい』問題の両方で、最小最大レグレットが対数的要因の範囲内に収束することの確立。
• 問題固有のチューニングを必要とせず、多様な部分観測シナリオにうまく適応する統一的なアルゴリズムソリューションの提供。

提案手法

• 観測フィードバックと不確実性推定に基づいて動的に調整される適応的探索戦略を使用する。
• 部分的かつ確率的なフィードバックの下で、探索と活用のバランスを取るために信頼区間に基づく選択メカニズムを採用する。
• 妥当なモデルまたは戦略の集合を維持し、ベイジアンに類似した更新法でそれらを更新するが、厳密にはベイジアンではない。
• モデルの不確実性とフィードバック構造の寄与を分離する、新しいレグレット分解技術を活用する。
• いつでも停止可能であり、性能保証が得られる、いつでも利用可能なアルゴリズムとして設計されている。
• 観測された問題インスタンスの難易度に応じて、自己調整型の学習率を組み込む。

実験結果

リサーチクエスチョン

• RQ1 適応的アルゴリズムは、有限の確率的部分観測問題のすべてにおいて、近似的にミニマックスレグレットを達成できるか？
• RQ2 問題が戦略空間の『簡単』な領域にある場合、アルゴリズムは対数的個別レグレットを達成するか？
• RQ3 問題構造に関する事前知識なしに、動的価格設定においてO(√T)のレグレットを達成できるか？
• RQ4 問題クラスの明示的分類なしに、さまざまな難易度レベルに適応する仕組みは何か？
• RQ5 『簡単』および『難しい』部分観測シナリオにおける、アルゴリズムの理論的レグレットバウンドは何か？

主な発見

• 本アルゴリズムは、有限の確率的部分観測問題における『簡単』および『難しい』問題の両方で、対数的要因の範囲内で最小最大レグレットを達成する。
• 『簡単』な問題では、対数的個別レグレットを達成し、良性のインスタンスにおいて最適なパフォーマンスを示す。
• 妥当な仮定の下で、動的価格設定においてO(√T)のレグレットを達成し、この問題の既知の下界と一致する。
• アルゴリズムは、問題構造を自動的に検出し、活用することで適応的である。問題が簡単な場合に、より優れたパフォーマンスを達成する。
• 理論的分析により、問題が難しい場合にレグレットがO(√T)に成長し、簡単な場合に対数的に成長することが確認された。この際、難易度に関する事前知識は不要である。
• アルゴリズムはいつでも利用可能であり、時間枠や問題固有の定数に基づく調整パrameterを必要としない。