[論文レビュー] Soft-Bayes: Prod for Mixtures of Experts with Log-Loss

Laurent Orseau, Tor Lattimore+1 more|arXiv (Cornell University)|Jan 8, 2019

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本稿では、対数損失の下でオンライン予測に特徴付きの専門家を用いるための線形時間アルゴリズム、Soft-Bayesを紹介する。この手法は、ベイズ的解釈を伴うProd（積）アルゴリズムを用い、極端な損失や勾配に依存しないレグレットバウンドを達成する。また、専門家のサポートが互いに不重複である場合、古典的な推定器（ラプラスの法則、KT推定器）を回復し、特定の設定で対数的レグレットを達成する。

ABSTRACT

We consider prediction with expert advice under the log-loss with the goal of deriving efficient and robust algorithms. We argue that existing algorithms such as exponentiated gradient, online gradient descent and online Newton step do not adequately satisfy both requirements. Our main contribution is an analysis of the Prod algorithm that is robust to any data sequence and runs in linear time relative to the number of experts in each round. Despite the unbounded nature of the log-loss, we derive a bound that is independent of the largest loss and of the largest gradient, and depends only on the number of experts and the time horizon. Furthermore we give a Bayesian interpretation of Prod and adapt the algorithm to derive a tracking regret.

研究の動機と目的

• 計算効率が良く、劣悪な専門家に対してロバストであり、トラッキングレグレットを達成できるオンライン学習における専門家アドバイス付き予測アルゴリズムの開発。
• 指数勾配法やオンラインニュートンステップといった従来の手法の限界、すなわち計算コストの高さや不安定なレグレットバウンドの問題に対処すること。
• Prodアルゴリズムにベイズ的解釈を導入し、ロバスト性と効率的な実装を可能にすること。
• 最大損失や勾配に依存しない、専門家の数と時間枠にのみ依存する、レグレットバウンドの導出。
• 専門家のサポートが互いに不重複である場合、代表的な密度推定器（例：ラプラス、KT）を特別なケースとして回復できること。

提案手法

• 重みを事後確信度として解釈するベイズ更新則を用いて、学習率を適応的に調整するProdアルゴリズムを採用。
• レグレット解析におけるテレスコピング和を可能にするために、予測値に比 $ \frac{p^i_t}{M_t} $ を適用。
• 正確な古典的推定器の回復を達成するため、学習率 $ \eta_t = \frac{1}{t + c} $ を採用。
• 分散に類似した項 $ V^i_k = \sum_{t \leq k} \left( \frac{p^i_t}{M_t} - 1 \right)^2 $ を用いてレグレットバウンドを導出。有利な設定では対数的レグレットを達成。
• 累積的な専門家パフォーマンスからの逸脱に応じて学習率を調整することで、トラッキングレグレットの変種を導入。
• 正規化のテクニックとして $ \sum_i w^i_t \eta^i_t \frac{p^i_t}{M_t} = \sum_i w^i_t \eta^i_t $ を用い、レグレット分解を簡素化。

実験結果

リサーチクエスチョン

• RQ1 対数損失の下で、敵対的データや極端な損失にロバストであり、線形時間で動作する混合専門家予測のためのアルゴリズムを設計可能か？
• RQ2 Prodアルゴリズムがベイズ的解釈を経由して、最大損失や勾配に依存しない、証明可能な最適なレグレットバウンドを達成できるか？
• RQ3 Soft-Bayesフレームワークは、ラプラスの法則やKT推定器といった古典的密度推定器を特別なケースとして回復できるか？
• RQ4 学習率 $ \eta_t = \frac{1}{t + c} $ が、専門家のサポートが不重複である場合に、既知の推定器を正確に回復する仕組みは何か？
• RQ5 固定共有法と同等のトラッキングレグレットを達成しつつ、線形時間の計算複雑性を維持できるか？

主な発見

• Soft-Bayesアルゴリズムは1ラウンドあたり $ O(N) $ 時間で実行され、最大損失や勾配に依存しない、$ N $ と $ T $ のみに依存するレグレットバウンドを達成する。
• サポートが不重複で $ \eta_t = \frac{1}{t + c} $ の場合、$ c = N $ であればラプラスの法則の継続則を正確に回復し、レグレットは $ O(N \ln \frac{T}{N}) $ となる。
• $ c = 1 $ の場合、ペルクスの推定器を回復し、$ m $ を少なくとも1回正しい予測を行う専門家の数とすると、レグレットは $ O(m \ln T) $ となる。
• $ c = N/2 $ の場合、KT推定器を回復し、レグレットは $ O(\frac{N}{2} \ln T) $ となる。これは既知のミニマックス最適バウンドと一致する。
• レグレットバウンドは $ O\left( \left[ \ln N + \ln(1 + \max_j \ln(1 + V^j_T)) \right] \sqrt{1 + \frac{V^i_T}{\ln N}} \right) $ であり、専門家の予測の累積的逸脱に適応する。
• Prodのベイズ的解釈により、自然にトラッキングレグレットへの拡張が可能となり、ロバスト性と効率性を維持できる。