[論文レビュー] Asymptotic Convergence in Online Learning with Unbounded Delays

Scott Garrabrant, Nate Soares+1 more|arXiv (Cornell University)|Apr 18, 2016

Advanced Bandit Algorithms Research参考文献 17被引用数 6

ひとこと要約

本稿では、上限のないフィードバック遅延を持つオンライン学習のためのアルゴリズムであるEvOpを提案する。収束は、予測者を疎かつ独立な部分列で評価することによって、ベイズ最適予測に到達する。このような設定では一貫性や平均リグレットの収束が不可能であるにもかかわらず、特定の部分列においてエキスパートがベイズ最適な予測を行う場合、EvOpは漸近的に最適な行動に収束する。ただし、収束に関する束縛は非常に弱く、提供されているにとどまる。

ABSTRACT

We study the problem of predicting the results of computations that are too expensive to run, via the observation of the results of smaller computations. We model this as an online learning problem with delayed feedback, where the length of the delay is unbounded, which we study mainly in a stochastic setting. We show that in this setting, consistency is not possible in general, and that optimal forecasters might not have average regret going to zero. However, it is still possible to give algorithms that converge asymptotically to Bayes-optimal predictions, by evaluating forecasters on specific sparse independent subsequences of their predictions. We give an algorithm that does this, which converges asymptotically on good behavior, and give very weak bounds on how long it takes to converge. We then relate our results back to the problem of predicting large computations in a deterministic setting.

研究の動機と目的

• 上限のない遅延を伴うオンライン学習に対処すること。これは、フィードバックが任意に長い間隔をあけて到着する設定である。
• 訓練データがより小さい遅延付きの計算から得られるが、大きな計算を予測するという課題を形式化すること。
• 平均リグレットや一貫性といった標準的な性能指標が、この設定では不十分であることを示すこと。
• エキスパートが最適な予測を行う部分列において、漸近的にベイズ最適な予測に収束するアルゴリズムを設計すること。
• 確率的結果を、アルゴリズム的ランダムネスを用いた大規模な決定的計算の予測に再関連付けること。

提案手法

• EvOpは、すべての予測ではなく、関数hと成長関数gの合成により選択された疎かつ独立な予測部分列で予測者を評価する。
• アルゴリズムは、予測者が著しく逸脱する可能性がある候補となる予測ポイントを特定するためのテストシーケンス関数 testseq_n(j, z, m) を使用する。
• 各時刻で予測者間の最大スコアを計算し、それをしきい値と比較して収束を判断する。
• 収束は、損失関数の強い凸性とリプシッツ連続性から導かれる指数的尾部バウンドを用いたスコアの逸脱確率的バウンドによって証明される。
• この方法は、疎な部分列の構築に依存しており、これにより独立性が保たれ、遅延フィードバックへの過剰適合を回避する。
• スコア逸脱の確率の指数的減衰から導かれる弱い収束時間の束縛を用いて、漸近的収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 フィードバック遅延が上限のない場合、オンライン学習アルゴリズムは一貫性や消える平均リグレットを達成できるか？
• RQ2 上限のない遅延が存在する状況で、ベイズ最適な予測に収束するアルゴリズムを設計することは可能か？
• RQ3 平均リグレットがゼロに収束しない可能性がある状況において、上限のない遅延を伴うオンライン学習で意味のある性能指標は何か？
• RQ4 フィードバックが無期限に遅延する場合、意味があり独立した部分列で予測者を特定・評価する方法は何か？
• RQ5 確率的設定で得られた結果を、大規模な決定的計算の予測に意味的に関連づけることは可能か？

主な発見

• 上限のない遅延を伴うオンライン学習では、一般に一貫性や平均リグレットの収束は達成不可能である。
• 最適な予測者ですら、平均リグレットがゼロに収束しないことがあるため、この設定では標準的な性能指標が無効である。
• エキスパートがベイズ最適な予測を行う任意の部分列において、EvOpは漸近的にベイズ最適な予測に収束する。
• アルゴリズムは、予測者の疎かつ独立な部分列での評価により、遅延フィードバックの欠陥を回避することで収束を達成する。
• 収束の束縛は極めて弱く、スコア逸脱の指数的尾部バウンドから導かれるが、それでも漸近的最適性を保証するのに十分である。
• このフレームワークは、確率的モデルにおける規則的な部分列の特定を通じて、大規模な決定的計算の予測の基盤を提供する。