[論文レビュー] On the asymptotic optimality of the comb strategy for prediction with expert advice

Erhan Bayraktar, Ibrahim Ekren+1 more|arXiv (Cornell University)|Feb 6, 2019

Advanced Bandit Algorithms Research参考文献 19被引用数 6

ひとこと要約

本稿は、4人の専門家に対する予測の専門家アドバイス問題において、PDEおよび確率的解析を用いて、コンブ戦略の漸近的最適性を証明する。非線形双曲型PDE系を用いて値関数の正確な漸近展開を導出し、ハミルトニアン・ジャコビ・ベルマン方程式と照合することで、最良のレグRET成長率が $\frac{\pi}{4\sqrt{2\delta}}$ であることを確認し、Gravinら（2012年）の予想を裏付けた。

ABSTRACT

For the problem of prediction with expert advice in the adversarial setting with geometric stopping, we compute the exact leading order expansion for the long time behavior of the value function. Then, we use this expansion to prove that as conjectured in Gravin et al. [12], the comb strategies are indeed asymptotically optimal for the adversary in the case of 4 experts.

研究の動機と目的

• Gravin, Peres, and Sivan（2012年）が提起した、4専門家予測におけるレグRETの漸近的挙動に関する2つの予想を解消すること。
• 幾何的停止パrameter $\delta > 0$ が小さい場合の値関数の正確な一次漸近展開を確立すること。これは、長時間挙動に対応する。
• 自然が最も良いおよび最も悪い専門家を選ぶというコンブ戦略が、4専門家ケースにおける敵対的状況で漸近的に最適であることを証明すること。
• PDE理論、反射ブラウン運動、および双曲型系を組み合わせた、新しい手法を考案し、値関数を明示的に計算すること。
• 提案された値関数がハミルトニアン・ジャコビ・ベルマン方程式を満たすことを確認することで、コンブ戦略の最適性を裏付けること。

提案手法

• スケーリングされた値関数と粘性解理論を用いて、長時間挙動を特徴付ける極限楕円型PDE（2.5）を導出する。
• 補題4.1を用いて、値関数を第一象限における斜めに反射するブラウン運動の期待局所時刻に関連付ける。
• 領域の境界面における値関数を、一階双曲型PDE系（5.17）および（5.18）を用いて特徴付ける。
• 対称性および境界条件を用いて双曲型系を明示的に解き、領域上での値関数を計算する。
• 最大値原理（命題5.4）を適用して補正項の非負性を確認し、HJB方程式との整合性を保証する。
• 第6節における検証手続きにより、構築された値関数がHJB方程式を満たすことを確認し、コンブ戦略の最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 4人の専門家に対して、コンブ戦略はレグRET成長率 $\frac{\pi}{4\sqrt{2\delta}}$ を達成するか？
• RQ2 PDEおよび確率過程を用いて、4専門家予測問題の値関数を明示的に計算できるか？
• RQ3 コンブ戦略は、4専門家幾何的停止問題における敵対的状況で漸近的に最適か？
• RQ4 領域の反射境界上での値関数を、双曲型PDE系で特徴付けることができるか？
• RQ5 提案された解は、長時間極限におけるハミルトニアン・ジャコビ・ベルマン方程式を満たすか？

主な発見

• 4人の専門家に対する値関数の一次漸近展開が $\frac{\pi}{4\sqrt{2\delta}}$ として得られ、$\delta \to 0^+$ のとき、Gravinら（2012年）の予想が裏付けられた。
• 値関数は、双曲型PDE系（5.17）および（5.18）を用いて明示的に計算され、斜めに反射するブラウン運動の期待局所時刻を特徴付ける。
• 解がハミルトニアン・ジャコビ・ベルマン方程式（2.5）を満たすことが確認され、敵対的状況におけるコンブ戦略の漸近的最適性が証明された。
• 最大値原理（命題5.4）により補正項の非負性が保証され、検証手続きに不可欠な条件が満たされた。
• 一般に $N \geq 5$ 専門家に対しても、斜めに反射するブラウン運動の不変集合を特徴付けることができる限り、本手法は原則として一般化可能である。
• 漸近的レグRETスケーリングは、乗法的重みアルゴリズムからの既知の境界と一致し、確立された学習理論の結果と整合的であることが確認された。