[論文レビュー] A Stochastic View of Optimal Regret through Minimax Duality

Jacob Abernethy, Alekh Agarwal+2 more|ArXiv.org|Mar 30, 2009

Advanced Bandit Algorithms Research参考文献 10被引用数 16

ひとこと要約

本稿では、ボルツマンのミニマックス定理を用いて、オンライン凸最適化における最適なレジストの確率的解釈を確立し、ミニマックスレジストが敵対的データ系列の確率分布上での凹関数機能に対するジェンセンの不等式の最大ギャップに等しいことを示している。幾何学的および双対性に基づく解析を通じて、タイトな上界と下界が導出され、統計的学習との関連が明らかになり、最適な敵戦略が明示的に特定されている。

ABSTRACT

We study the regret of optimal strategies for online convex optimization games. Using von Neumann's minimax theorem, we show that the optimal regret in this adversarial setting is closely related to the behavior of the empirical minimization algorithm in a stochastic process setting: it is equal to the maximum, over joint distributions of the adversary's action sequence, of the difference between a sum of minimal expected losses and the minimal empirical loss. We show that the optimal regret has a natural geometric interpretation, since it can be viewed as the gap in Jensen's inequality for a concave functional--the minimizer over the player's actions of expected loss--defined on a set of probability distributions. We use this expression to obtain upper and lower bounds on the regret of an optimal strategy for a variety of online learning problems. Our method provides upper bounds without the need to construct a learning algorithm; the lower bounds provide explicit optimal strategies for the adversary.

研究の動機と目的

• 最適なレジストと確率過程における経験的最小化の間の深い双対性を明らかにすることで、敵対的オンライン学習と統計的学習を統合すること。
• オンライン凸最適化におけるミニマックスレジストを、確率分布上での凹関数機能に対するジェンセンの不等式の幾何的ギャップとして特徴付けること。
• 学習アルゴリズムの構築なしに、双対性とサポート関数解析を用いて最適なレジストの上界と下界を導出すること。
• 導出された下界に到達する明示的な最適な敵戦略を同定すること。
• 損失クラスの線形変換におけるレジストの不変性を探索し、同型な学習問題を結びつけること。

提案手法

• ボルツマンのミニマックス定理を適用し、ミニマックスレジストを条件付き最小損失の期待値とグローバルな経験的最小損失の間のギャップとして再定式化する。
• レジストを、データ系列の連合分布上での、条件付き最小値の和とグローバル経験的最小値の差の上界として定義する。
• 負の損失関数の凸包のサポート関数を用いて、凸双対性によりレジストを特徴付ける。
• 特定の分布に対して、構築された条件付き期待値の逐次列に対して後退帰納法を適用し、正確なレジスト式を証明する。
• 既知の漸近的展開（例：∑cₜ = log T − log log T + o(1)）を用いて、正確な漸近的レジストレートを導出する。
• 損失クラスの線形変換を用いて、可逆写像によって非特異な露出面が回転しない場合に限り、√T レートが保存されることを分析する。

実験結果

リサーチクエスチョン

• RQ1 オンライン凸最適化における最適なレジストは、確率的設定下での経験的最小化の挙動とどのように関係しているか？
• RQ2 ミニマックスレジストは、確率分布上での凹関数機能に対するジェンセンの不等式の幾何的ギャップとして表現可能か？
• RQ3 オンライン学習問題における最適なレジストのタイトな上界と下界は何か？ また、それらは学習アルゴリズムの構築なしにどのように導出可能か？
• RQ4 敵はどのような明示的な戦略を用いて最悪のレジストに到達し、それらはどのように特徴付けられるか？
• RQ5 損失クラスの線形変換はミニマックスレジストにどのように影響を与え、どのような条件下でレジストが不変となるか？

主な発見

• ミニマックスレジストは、データ系列のすべての連合分布上での、条件付き最小期待損失の和と最小経験的損失の差の上界に正確に等しい。
• 最適なレジストは、明確な漸近的形：log T − log log T + o(1) を示し、構築された条件付き期待値の逐次列に対する後退帰納法により導出される。
• レジストは、プレイヤーの行動集合上での期待損失の下界として定義される凹関数機能に対するジェンセンの不等式のギャップとして解釈可能である。
• 本手法により、最適な分布上のデータ系列から導出される明示的な最適な敵戦略を用いて下界が得られる。
• 学習アルゴリズムの構築なしに、双対性と凸幾何学に依存してレジストの上界が得られる。
• 損失クラスの線形変換は、原点から非特異な露出面を回転させない限り、√T レートを保存する。これは、特定の学習問題が同型であることを示唆している。