[論文レビュー] Online Learning under Delayed Feedback

Pooria Joulani, András György+1 more|arXiv (Cornell University)|Jun 4, 2013

Advanced Bandit Algorithms Research参考文献 11被引用数 29

ひとこと要約

本稿では、遅延フィードバック下でのオンライン学習について体系的な分析を提示し、非遅延オンライン学習アルゴリズムを遅延フィードバックに耐性のあるものに変換するブラックボックスメタアルゴリズムを導入する。遅延は敵対的設定ではレグレットを乗算的に増加させるが、確率的設定では加法的に増加することを示し、確率的バンディット問題におけるUCBの低複雑性な修正版を提案する。この修正版は、遅延に起因する加法的ペナルティまでを含めて、レグレットの保証を維持する。

ABSTRACT

Online learning with delayed feedback has received increasing attention recently due to its several applications in distributed, web-based learning problems. In this paper we provide a systematic study of the topic, and analyze the effect of delay on the regret of online learning algorithms. Somewhat surprisingly, it turns out that delay increases the regret in a multiplicative way in adversarial problems, and in an additive way in stochastic problems. We give meta-algorithms that transform, in a black-box fashion, algorithms developed for the non-delayed case into ones that can handle the presence of delays in the feedback loop. Modifications of the well-known UCB algorithm are also developed for the bandit problem with delayed feedback, with the advantage over the meta-algorithms that they can be implemented with lower complexity.

研究の動機と目的

• 敵対的および確率的設定の両方において、遅延フィードバック下でのオンライン学習の包括的な理論的分析を提供すること。
• 非遅延オンライン学習アルゴリズムを、遅延フィードバックに耐性を持つものに変換する一般化されたブラックボックスメタアルゴリズムの開発。
• 遅延フィードバック下での確率的マルチアームバンディット問題に対して、計算量が低く、特化したUCBバージョンを設計し、性能劣化を最小限に抑えること。
• 遅延がレグレットに与える影響を定量化し、敵対的および確率的問題構造の違いを明確にすること。
• $ G_n^* $、すなわち最大未観測報酬数を、主要なパフォーマンス指標とし、キューイング理論およびマルコフ連鎖との関連を調査すること。

提案手法

• タイムスタンプ付きの遅延フィードバックを伴う一般化された部分監視フレームワークを提案し、意思決定 $ t $ のフィードバックが時間 $ t + \tau_t $ に到着する。
• 元のアルゴリズムの動作を維持しながら、フィードバック受信まで更新を延期することで、遅延フィードバックを考慮するメタアルゴリズムを導入する。
• 上界確信度（UCB）を $ B_{i,s,t} = \hat{\mu}_{i,s} + \sqrt{2\log t / s} $ の形で使用し、時間 $ t $ までに観測された報酬のみを用いるように調整し、遅延付きUCB1（Delayed-UCB1）を構築する。
• 集中不等式を用いて、非最適行動の回数をバウンドし、標準的なUCBレグレット解析を遅延設定に拡張し、加法的ペナルティ項を含める。
• 期待レグレットを $ \mathbb{E}[R_n] \leq \sum_{i:\Delta_i > 0} \left[ \frac{8\log n}{\Delta_i} + 3.5\Delta_i \right] + \sum_{i=1}^K \Delta_i \mathbb{E}[G_{i,n}^*] $ としてバウンドすることで、遅延付きUCBアルゴリズムのパフォーマンスを分析する。ここで $ G_{i,n}^* $ はアーム $ i $ の最大未観測報酬数である。
• $ G_n^* $ と、確定的到着を持つマルチサーバキューイングシステムおよびマルコフ連鎖のずれとの関連を示し、これらの分野を活用したより良い解析の可能性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 フィードバック遅延は、敵対的設定と確率的設定の両方において、オンライン学習アルゴリズムのレグレットにどのように影響を与えるか？
• RQ2 非遅延オンライン学習アルゴリズムを、ブラックボックス的に遅延フィードバックに耐性を持つものに変換できる一般化されたメタアルゴリズムを設計できるか？
• RQ3 確率的バンディット問題における遅延によって生じる追加の最小レグレットは何か？ そして、それを加法的にバウンドできるか？
• RQ4 一般メタアルゴリズムよりも計算量が低く、レグレット保証を維持するUCBアルゴリズムの特化型修正は可能か？
• RQ5 $ G_n^* $、すなわち最大未観測報酬数が、遅延付きオンライン学習アルゴリズムのパフォーマンスに果たす役割は何か？

主な発見

• 敵対的オンライン学習では、フィードバック遅延によりレグレットが乗算的に増加し、非遅延状況と比較して問題が著しく難しくなる。
• 確率的バンディット問題では、遅延によるレグレット増加は加法的であり、漸近的レグレットスケーリングは変化しないが、最大未観測報酬数に依存する追加ペナルティ項が生じる。
• 提案されたブラックボックスメタアルゴリズムは、非遅延アルゴリズムを遅延フィードバックに適応させることに成功し、敵対的状況では乗算的要因、確率的状況では加法的要因までを含めて、元のレグレット保証を維持する。
• 遅延付きUCB1（Delayed-UCB1）は、UCB1の修正版であり、標準UCB1と同一のレグレットバウンドを、$ \sum_{i=1}^K \Delta_i \mathbb{E}[G_{i,n}^*] $ の加法的ペナルティ項まで含めて維持する。ここで $ G_{i,n}^* $ はアーム $ i $ の最大未観測報酬数である。
• 最大未観測報酬数 $ G_n^* $ は、確定的到着を持つマルチサーバキューイングシステムにおける最大使用サーバ数と等価であることが示され、この分野とのクロスドメイン解析の可能性を示唆する。
• 本稿では理論的理解のギャップを特定し、観測された挙動は定性的に正しいものの、部分監視における遅延フィードバックの下界を完全に一致させる分析はまだ存在しないと指摘している。