[論文レビュー] Prediction by Random-Walk Perturbation

Luc Devroye, Gábor Lugosi+1 more|arXiv (Cornell University)|Feb 23, 2013

Advanced Bandit Algorithms Research参考文献 27被引用数 22

ひとこと要約

本稿では、独立な対称的ランダムウォークを用いて累積損失を摂動する、新しいオンライン予測アルゴリズムを提案する。この手法は、期待されるリグレットが最適な $O(\sqrt{n\log N})$ に達する一方で、予測の切り替え回数を著しく削減する（期待値として $O(\sqrt{n\log N})$ に抑えられる）。この方法は、組合せ最適化の文脈でさえも、リグレット性能を損なわずに切り替えコストを低く抑えることを保証する。

ABSTRACT

We propose a version of the follow-the-perturbed-leader online prediction algorithm in which the cumulative losses are perturbed by independent symmetric random walks. The forecaster is shown to achieve an expected regret of the optimal order O(sqrt(n log N)) where n is the time horizon and N is the number of experts. More importantly, it is shown that the forecaster changes its prediction at most O(sqrt(n log N)) times, in expectation. We also extend the analysis to online combinatorial optimization and show that even in this more general setting, the forecaster rarely switches between experts while having a regret of near-optimal order.

研究の動機と目的

• 最適なリグレットを維持しつつ、予測の切り替え回数を著しく削減するオンライン予測アルゴリズムの設計。
• フォローザ・ペチューブド・リーダー（FPL）フレームワークにおけるリグレットと切り替えコストのトレードオフの分析。
• 切り替えがコストのかかる文脈における、オンライン組合せ最適化への分析の拡張。
• 対称的ランダムウォーク摂動が、近似的に最適なリグレットと低頻度の切り替えを達成できることの証明。
• 一般の損失割り当てのもとで、期待される切り替え回数とリグレットに関する理論的保証の提供。

提案手法

• 各エキスパートの累積損失が、時間経過とともに独立した対称的ランダムウォークによって摂動される。
• 各時刻において、摂動された累積損失が最小となるアクションが予測者によって選択される。
• 摂動は、ロバスト性と濃縮性を保証する対称安定分布から抽出される。
• 条件付きガウス分布と尾確率の境界を用いて、複数のアクションが同時に最適である確率を制御する。
• 多次元ガウス分布の性質と共分散構造を用いて、重要な不等式を導出する。
• アクション間の $\ell_1$-距離に基づくしきい値処理技術を用いて、切り替えイベントを制限する。

実験結果

リサーチクエスチョン

• RQ1 ランダムウォーク摂動は、オンライン学習における最適なリグレットと予測の切り替え回数の両立を達成できるか？
• RQ2 対称的ランダムウォーク摂動を用いたフォローザ・ペチューブド・リーダー枠組みにおいて、期待される切り替え回数はどの程度か？
• RQ3 切り替え行動は、時間枠 $n$ とエキスパート数 $N$ に対してどのようにスケーリングされるか？
• RQ4 このアプローチは、構造的アクション集合を有する組合せ最適化へと拡張可能か？
• RQ5 時間に依存しない摂動（各ラウンドで同一）を用いても、良好なリグレットおよび切り替え性能が得られるか？

主な発見

• 提案されたアルゴリズムは、$O(\sqrt{n\log N})$ の期待リグレットを達成し、オンライン予測における最適なオーダーに一致する。
• 予測の切り替え回数の期待値は $O(\sqrt{n\log N})$ で有界であり、標準的なFPLバージョンと比較して顕著に低い。
• 構造的アクション集合を有するオンライン組合せ最適化の文脈でも、近似的に最適なリグレットを維持する。
• 分析により、複数のアクションが最適である確率は、ガウス分布の尾確率と条件付き分布を用いて制御可能であることが示された。
• ランダムウォーク摂動の記憶なし・対称性の性質のおかげで、リグレットを損なわずに切り替えコストが低減される。
• 共分散構造とアクション間の $\ell_1$-距離を含むモーメント不等式を用いて、理論的境界が導出された。