[論文レビュー] Online Learning with Switching Costs and Other Adaptive Adversaries

Nicolò Cesa‐Bianchi, Ofer Dekel+1 more|arXiv (Cornell University)|Feb 18, 2013

Advanced Bandit Algorithms Research参考文献 21被引用数 53

ひとこと要約

本稿は、プレイヤーの過去の行動に応じて反応する適応的敵対者のもとでのオンライン学習を研究し、このような適応性をよりよく捉えるために、新たなレグレット概念「ポリシー・レグレット」を導入する。スイッチングコストが存在する場合、バンディットフィードバックでは $ widetilde{ Theta}(T^{2/3})$ のレグレットレートが得られ、完全情報の場合の $ Theta( sqrt{T})$ より著しく悪い。また、有界記憶を持つ敵対者ですら、完全情報設定でも同様の $T^{2/3}$ レートを強制できることを示し、スイッチングコストは記憶制約よりも制御が簡単であることを証明する。

ABSTRACT

We study the power of different types of adaptive (nonoblivious) adversaries in the setting of prediction with expert advice, under both full-information and bandit feedback. We measure the player's performance using a new notion of regret, also known as policy regret, which better captures the adversary's adaptiveness to the player's behavior. In a setting where losses are allowed to drift, we characterize ---in a nearly complete manner--- the power of adaptive adversaries with bounded memories and switching costs. In particular, we show that with switching costs, the attainable rate with bandit feedback is $\widetildeΘ(T^{2/3})$. Interestingly, this rate is significantly worse than the $Θ(\sqrt{T})$ rate attainable with switching costs in the full-information case. Via a novel reduction from experts to bandits, we also show that a bounded memory adversary can force $\widetildeΘ(T^{2/3})$ regret even in the full information case, proving that switching costs are easier to control than bounded memory adversaries. Our lower bounds rely on a new stochastic adversary strategy that generates loss processes with strong dependencies.

研究の動機と目的

• 適応的敵対者（特にプレイヤーの過去の行動に応じて反応する者）がオンライン学習に与える影響を分析すること。
• 適応的敵対者に対して適切に性能を評価できる新たなレグレット測度「ポリシー・レグレット」を導入・形式化すること。
• 完全情報およびバンディットフィードバックの両設定において、スイッチングコストおよび有界記憶を持つ敵対者のもとで達成可能なレグレットレートを特定すること。
• 完全情報設定でも同様の $T^{2/3}$ レートを強制できることを示し、スイッチングコストは有界記憶の制約よりも害が小さいことを証明すること。

提案手法

• プレイヤーの累積損失と、時間経過に伴う最良の固定行動の累積損失との差としてポリシー・レグレットを定義する。
• 有界記憶およびスイッチングコストを持つ適応的敵対者を分析し、損失関数を履歴依存的にモデル化する。
• 完全情報設定においても有界記憶の敵対者が $ widetilde{ Theta}(T^{2/3})$ のレグレットを強制できることを示すために、エキスパートからバンディットへの新しい還元法を構築する。
• 二段階戦略を採用する：均等に離れた時刻点を用いた探索により損失を推定し、無関心損失推定値を用いたHedgeアルゴリズムでレグレットを抑え込む。
• 時刻点を円形に配置することで、探索ステップの分布が一様になり、端効果を回避する。
• エポックに分解してレグレットを評価し、推定損失に対して既知のHedgeのレグレット境界を適用し、エポック数 $J$ について最適化する。

実験結果

リサーチクエスチョン

• RQ1 敵対者がプレイヤーの過去の行動に応じて適応する状況下で、特にスイッチングコストがある場合、オンライン学習における最適なレグレットレートは何か？
• RQ2 適応的敵対者とスイッチングコストの下で、完全情報とバンディットフィードバックの両設定におけるレグレットレートの違いは何か？
• RQ3 有界記憶の敵対者が、完全情報設定においても $T^{2/3}$ レートを強制できるか？
• RQ4 オンライン学習において、スイッチングコストと有界記憶の制約を制御する難易度に根本的な差はあるか？
• RQ5 限られたフィードバックの下で適応的敵対者に対処するための、タイトなレグレット境界を達成するために必要な新たな技術は何か？

主な発見

• スイッチングコストとバンディットフィードバックの下では、最適なレグレットレートは $\nwidetilde{\nTheta}(T^{2/3})$ であり、完全情報設定の $\nTheta(\nsqrt{T})$ より著しく悪い。
• 同様の $\nwidetilde{\nTheta}(T^{2/3})$ レグレットレートは、有界記憶の敵対者ですら、完全情報設定でも強制可能であり、有界記憶はスイッチングコストよりも強い制約であることを示している。
• 強い依存性を持つ損失プロセスを生成する新しい確率的敵対戦略を導入し、タイトな下界を確立した。
• エキスパートからバンディットへの還元法を構築し、適応的敵対者のもとで完全情報からバンディットフィードバックへのレグレット境界の転送を可能にした。
• 時刻点の円形配置により、探索の分布が一様になり、エッジ効果が排除され、有効な損失推定が可能になった。
• エポック数 $J \sim T^{2/3}$ について最適化することで、最終的なレグレット境界が $\nwidetilde{\nTheta}(T^{2/3})$ レートに達し、結果のタイトさが裏付けられた。