[論文レビュー] Stochastic Linear Optimization with Adversarial Corruption

Yingkai Li, Edmund Y. Lou+1 more|arXiv (Cornell University)|Sep 4, 2019

Advanced Bandit Algorithms Research参考文献 15被引用数 19

ひとこと要約

本稿では、敵対的汚染下における確率的線形最適化のための新しいアルゴリズムを提示する。エポックベースの探索と Löwner-John 楕円体を用い、適応的汚染感知推定を実施する。達成されたレグレットバウンドは $ O\left(\frac{d^{5/2}C\log T}{\Delta} + \frac{d^6\log(\frac{d\log T}{\delta})\log T}{\Delta^2}\right) $ であり、汚染量 $ C $ に線形に増加する。また、多項式時間の楕円体計算により計算効率が確保される。

ABSTRACT

We extend the model of stochastic bandits with adversarial corruption (Lykouriset al., 2018) to the stochastic linear optimization problem (Dani et al., 2008). Our algorithm is agnostic to the amount of corruption chosen by the adaptive adversary. The regret of the algorithm only increases linearly in the amount of corruption. Our algorithm involves using Löwner-John's ellipsoid for exploration and dividing time horizon into epochs with exponentially increasing size to limit the influence of corruption.

研究の動機と目的

• 確率的線形バンディットにおける汚染の統合という未解決問題に取り組み、既存の汚染付き確率的バンディット研究を拡張する。
• 敵対的汚染が報酬を適応的にかつ事前知識なしに与える状況でも、効果的なアルゴリズムを設計すること。
• 合計汚染量 $ C $ に線形にスケーリングするレグレットバウンドを達成すると同時に、汚染なしの状況では問題依存最適性を維持すること。
• Löwner-John 楕円体の多項式時間アルゴリズムを活用することで、計算効率を確保すること。

提案手法

• 時間領域を指数関数的に増加するエポックに分割し、初期の汚染が後の意思決定に与える影響を制限する。
• 高次元空間における最適方向の良好な条件付けられた推定を維持するために、Löwner-John 楕円体を探索に用いる。
• 二段階戦略を採用：前回のエポックからの推定を用いた活用と、相関に起因する推定バイアスを回避するための独立した座標ごとの推定による探索。
• 汚染下での推定誤差のバウンドに集中不等式を適用し、ノイズと敵対的摂動の両方を考慮した汚染感知信頼区間を用いる。
• エポック固有のパラメータを用いて、それぞれ独立にバウンドできるように、レグレットの分解を新規に導入する。
• 弱い Löwner-John 楕円体の多項式時間アルゴリズムを用いて計算効率を確保し、$ E \subseteq D \subseteq 2d^{3/2}E $ を満たす。

実験結果

リサーチクエスチョン

• RQ1 確率的線形最適化は、問題依存のレグレットバウンドを維持したまま、敵対的汚染に対してロバストにできるか？
• RQ2 汚染量が増加するに従い、事前に汚染量が不明な線形最適化設定において、レグレットはどのようにスケーリングされるか？
• RQ3 確率的線形バンディットモデルにおいて、敵対的汚染が引き起こす最小限の追加レグレットオーバーヘッドは何か？
• RQ4 敵対的汚染下でも低レグレットを維持できる、計算効率の良いアルゴリズムを設計できるか？
• RQ5 汚染の影響を推定に及ぼすのを制限するように、探索と活用を分離することは可能か？

主な発見

• 本アルゴリズムは、確率 $ 1 - \delta $ でレグレットバウンド $ O\left(\frac{d^{5/2}C\log T}{\Delta} + \frac{d^6\log(\frac{d\log T}{\delta})\log T}{\Delta^2}\right) $ を達成し、合計汚染量 $ C $ に線形に増加する。
• 汚染によるレグレット損失は、最適な無汚染バウンドと比較して乗算因子 $ \log T $ に留まるため、汚染ロバスト設定において近似的に最適であると考えられる。
• エポックベースの推定により初期汚染の影響を弱めるため、汚染下でも時間に $ O(\log T) $ の依存性を維持する。
• Löwner-John 楕円体の多項式時間計算を活用することで、次元 $ d $ および $ \log T $ に対して多項式の計算コストを達成する。
• 汚染量 $ C $ の事前知識が不要であり、依然として優れた性能を達成する。アルゴリズムは汚染量にアンタゴニスティックである。
• レグレット分解により、活用レグレットは $ C $ に線形にスケーリングし、探索レグレットは $ \frac{1}{\Delta^2} $ に依存する。これは、汚染下での探索と活用の分離の難しさを反映している。