[論文レビュー] New Potential-Based Bounds for Prediction with Expert Advice

Vladimir A. Kobzar, Robert V. Kohn+1 more|arXiv (Cornell University)|Nov 5, 2019

Advanced Bandit Algorithms Research参考文献 24被引用数 4

ひとこと要約

この論文は、最適制御理論から導かれる偏微分方程式（PDE）の下位解および上位解を活用することで、オンライン予測における専門家アドバイス問題に対して、新たな潜在関数に基づく境界を提案する。有限時間ホライズンのゲームにおいて、任意の数の専門家に対してよりきついリグレット境界を達成し、2人および3人の専門家において最適な一次項を達成する。また、閉形式のPDE解を用いることで、特定の領域において従来の最先端の境界を改善する。

ABSTRACT

This work addresses the classic machine learning problem of online prediction with expert advice. We consider the finite-horizon version of this zero-sum, two-person game. Using verification arguments from optimal control theory, we view the task of finding better lower and upper bounds on the value of the game (regret) as the problem of finding better sub- and supersolutions of certain partial differential equations (PDEs). These sub- and supersolutions serve as the potentials for player and adversary strategies, which lead to the corresponding bounds. To get explicit bounds, we use closed-form solutions of specific PDEs. Our bounds hold for any given number of experts and horizon; in certain regimes (which we identify) they improve upon the previous state of the art. For two and three experts, our bounds provide the optimal leading order term.

研究の動機と目的

• 潜在関数を用いて、有限時間ホライズンの専門家問題に対して、よりきつい非漸近的リグレット境界を導出すること。
• 潜在関数に基づく手法を上界にとどまらず、PDEの下位解および上位解を用いて下界を導出することによって、拡張すること。
• 新しい境界が既存の最先端の結果を改善する領域を同定すること。
• 特定のPDEの解を用いて、任意の数の専門家およびホライズンに対して明示的で閉形式の境界を提供すること。
• 従来のPDEに基づくアプローチを統一的かつ一般化し、オンライン学習における最適戦略のPDEベースの手法を拡張すること。

提案手法

• 専門家問題をゼロサムゲームとして定式化し、最適制御理論における検証的議論を用いて、PDEの下位解および上位解を潜在関数として導出する。
• ゲームの価値関数をハミルトニアン・ジャコビ・ベルマンPDEの解とみなし、下位解および上位解を用いて境界を構築する。
• 線形および非線形PDE（例：熱方程式およびその非線形アナログ）の閉形式解を適用し、明示的な境界を生成する。
• 最大潜在関数を用いて上界を導出し、対称的潜在関数を用いて下界を導出し、高階PDE微分を用いて誤差項を制御する。
• 数値積分およびランダムウォーク近似を用いて境界を計算・検証し、比較に用いる。
• N=2およびN=3の専門家において、境界が一次項までタイトであることを確立する。

実験結果

リサーチクエスチョン

• RQ1 PDEの下位解および上位解を体系的に用いて、専門家問題におけるリグレットの上界および下界を導出できるか？
• RQ2 どのようなクラスの潜在関数が、一般のNおよび有限Tに対してよりきつい非漸近的リグレット境界をもたらすか？
• RQ3 PDEベースの境界は、既知の漸近的および非漸近的結果と比較して、特に小規模なNにおいてどのように異なるか？
• RQ4 PDEの閉形式解が、従来の研究を上回る明示的かつ計算可能なリグレット境界をもたらすか？
• RQ5 どのパrameter領域において、N=2およびN=3の専門家に対して新しい境界が最適な一次項を達成するか？

主な発見

• 2人の専門家において、新しい境界はリグレットの最適な一次項を達成し、既知の非漸近的最適戦略と一致する。
• 3人の専門家においても、境界は最適な一次項を達成し、従来の最先端の境界を改善する。
• 本手法は、任意の数の専門家および有限ホライズンTに対して明示的で閉形式のリグレット境界を提供する。これは、特定のPDEの解から導出される。
• 適切なPDEパrameter化のもとで、上界の誤差項がO(N log |t|)であることが示され、従来の潜在関数ベースの手法を改善する。
• 対称的潜在関数から導かれた下界は、i.i.d. ガウス分布の状況からの既知の下界と一致し、漸近的極限におけるタイトネスを確認する。
• 本フレームワークは、従来のPDEベースのアプローチを統一的かつ拡張し、下位解および上位解を用いて上界および下界を両方可能にする。