[論文レビュー] Online Learning with Local Permutations and Delayed Feedback

Ohad Shamir, Liran Szlak|arXiv (Cornell University)|Mar 13, 2017

Advanced Bandit Algorithms Research参考文献 12被引用数 4

ひとこと要約

この論文は、遅延フィードバック設定におけるレグレットを改善するために、損失関数を距離M以内で局所的に再順序付けを許容するフレームワーク、オンライン学習における局所的順列（OLLP）を導入する。ミラー降下に基づくアルゴリズムを提案し、$ M \geq \tau $ のとき、レグレットの上界が$ O\left(\sqrt{T}(1 + \sqrt{\tau^2/M})\right) $ に達する。これは、敵対的設定の$ O(\sqrt{\tau T}) $ と確率的設定の$ O(\sqrt{T}) $ の間を滑らかに補間する。また、$ M < \tau/3 $ の場合、改善が不可能であることを示す一致する下界が提示されている。

ABSTRACT

We propose an Online Learning with Local Permutations (OLLP) setting, in which the learner is allowed to slightly permute the \emph{order} of the loss functions generated by an adversary. On one hand, this models natural situations where the exact order of the learner's responses is not crucial, and on the other hand, might allow better learning and regret performance, by mitigating highly adversarial loss sequences. Also, with random permutations, this can be seen as a setting interpolating between adversarial and stochastic losses. In this paper, we consider the applicability of this setting to convex online learning with delayed feedback, in which the feedback on the prediction made in round $t$ arrives with some delay $τ$. With such delayed feedback, the best possible regret bound is well-known to be $O(\sqrt{τT})$. We prove that by being able to permute losses by a distance of at most $M$ (for $M\geq τ$), the regret can be improved to $O(\sqrt{T}(1+\sqrt{τ^2/M}))$, using a Mirror-Descent based algorithm which can be applied for both Euclidean and non-Euclidean geometries. We also prove a lower bound, showing that for $M

研究の動機と目的

• 遅延フィードバックを伴うオンライン学習における高いレグレットの問題に対処すること。標準的な境界は、敵対的設定で$ O(\sqrt{\tau T}) $ である。
• わずかな損失シーケンスの再順序付け（局所的順列制約内）が、最悪の敵対的行動を緩和し、学習性能を向上させられるかを検討すること。
• 敵対的と確率的オンライン学習の間のギャップを埋めるために、両者の極端な状況の間を滑らかに補間する柔軟なフレームワークを導入すること。
• 局所的順列の利点の理論的限界を特定し、$ M < \tau/3 $ の場合、顕著な改善が不可能であることを示す下界を証明すること。
• 提案されたアルゴリズムを実験的に検証し、遅延フィードバック下でも実際の場面で有効であることを示すこと。

提案手法

• 学習者が$ \max_t |t - \sigma(t)| \leq M $ を満たすように損失関数を順列付けできる、オンライン学習における局所的順列（OLLP）設定を提案。これにより、シーケンスの制限付き再順序付けが可能になる。
• 遅延フィードバックと局所的順列を処理できるように適合させた、オンラインミラー降下に基づく「遅延順列ミラー降下」アルゴリズムを設計。
• ブロックベースの解析を用いて、$ \tau/3 $ のサイズの区間にシーケンスを分解し、集中不等式と条件付き期待値の利用を可能にする。
• キンチンケの不等式を適用して、最適な固定予測子の損失の期待値の和を評価し、$ M < \tau/3 $ のとき、$ \Omega(\sqrt{\tau T}) $ のレグレット下界を示す。
• 提案されたアルゴリズムのレグレットが$ O\left(\sqrt{T}(1 + \sqrt{\tau^2/M})\right) $ にスケーリングすることを確立。$ M $ が$ \tau $ を超えるほど、性能が向上する。
• 特に$ M \geq \tau $ のとき、レグレットが敵対的設定の$ O(\sqrt{\tau T}) $ と確率的設定の$ O(\sqrt{T}) $ の間を滑らかに補間することを示す。

実験結果

リサーチクエスチョン

• RQ1 遅延フィードバックを伴うオンライン学習において、損失関数の局所的再順序付けが、レグレットの改善に寄与できるか？
• RQ2 局所的順列による最良のレグレット改善はどれくらいで、それは順列半径$ M $ にどのように依存するか？
• RQ3 局所的順列の利点に根本的な限界があるか。その場合、どの$ M $ の値で改善が顕著ではなくなるか？
• RQ4 提案されたアルゴリズムは、遅延フィードバック下で、敵対的と確率的設定の間を滑らかに補間するレグレット境界を達成できるか？
• RQ5 理論的レグレット境界$ O(\sqrt{T}(1 + \sqrt{\tau^2/M})) $ は、ユークリッド幾何学と非ユークリッド幾何学の両方で成り立つか？

主な発見

• $ M \geq \tau $ のとき、提案された「遅延順列ミラー降下」アルゴリズムは、期待レグレット上界$ O\left(\sqrt{T}(1 + \sqrt{\tau^2/M})\right) $ を達成し、標準の$ O(\sqrt{\tau T}) $ の境界を改善する。
• $ M = \tau $ のとき、レグレット上界は$ O\left(\sqrt{T}(1 + \sqrt{\tau^2/\tau})\right) = O\left(\sqrt{T}(1 + \tau)\right) $ に簡略化され、$ \tau $ が大きくなるにつれて確率的設定に近づく。
• レグレット上界は、$ M $ と$ \tau $ の相対的な値に応じて、敵対的設定の$ O(\sqrt{\tau T}) $ と確率的設定の$ O(\sqrt{T}) $ の間を滑らかに補間する。
• 下界を証明し、$ M < \tau/3 $ の場合、$ \Omega(\sqrt{\tau T}) $ に達するレグレット以上の改善は、定数因子を除いて不可能であることを示しており、改善の根本的限界を示している。
• 解析により、局所的順列による改善は、$ M \geq \tau $ のときのみ非自明であり、$ M $ が小さすぎる場合には著しく減少することが確認された。
• 実験により、アルゴリズムの性能が検証され、理論的な利点が遅延フィードバック環境下でも実際に達成可能であることが示された。