[論文レビュー] Impossible Tuning Made Possible: A New Expert Algorithm and Its Applications

Liyu Chen, Haipeng Luo+1 more|arXiv (Cornell University)|Feb 1, 2021

Advanced Bandit Algorithms Research参考文献 33被引用数 7

ひとこと要約

この論文は、補正項と重み付きエントロピー正則化子を備えたミラー降下に基づく新規のエキスパートアルゴリズムを導入することで、オンライン学習における長年の「不可能なチューニング」問題を解決した。これにより、すべてのエキスパート i に対して同時に ˜O(√(ln d) Σₜ(ℓₜ,ᵢ − mₜ,ᵢ)²) のレグレットバウンドを達成できるようになった。この手法は予測ベクトル mₜ を用いて適応的バウンドに一般化され、既存の結果を回復または改善し、最小限のオーバーヘッドで最良のベースアルゴリズムを学習するマスターアルゴリズムの構築を可能にする。

ABSTRACT

We resolve the long-standing "impossible tuning" issue for the classic expert problem and show that, it is in fact possible to achieve regret $O\left(\sqrt{(\ln d)\sum_t \ell_{t,i}^2} ight)$ simultaneously for all expert $i$ in a $T$-round $d$-expert problem where $\ell_{t,i}$ is the loss for expert $i$ in round $t$. Our algorithm is based on the Mirror Descent framework with a correction term and a weighted entropy regularizer. While natural, the algorithm has not been studied before and requires a careful analysis. We also generalize the bound to $O\left(\sqrt{(\ln d)\sum_t (\ell_{t,i}-m_{t,i})^2} ight)$ for any prediction vector $m_t$ that the learner receives, and recover or improve many existing results by choosing different $m_t$. Furthermore, we use the same framework to create a master algorithm that combines a set of base algorithms and learns the best one with little overhead. The new guarantee of our master allows us to derive many new results for both the expert problem and more generally Online Linear Optimization.

研究の動機と目的

• 『不可能なチューニング』問題、すなわち、すべてのエキスパートに対して同時に適応的レグレットバウンドを達成できるアルゴリズムが存在しなかったという問題を解決すること。
• さまざまな予測ベクトル mₜ に一般化可能な統一的なアルゴリズムフレームワークを構築し、既存の適応的バウンドを回復または改善すること。
• 最小限のオーバーヘッドで実時間に最良のベースアルゴリズムを学習できるマスターアルゴリズムを設計し、オンライン学習における新たな結果を可能にすること。

提案手法

• SteinhardtとLiang（2014）のインスピレーションを受けて補正項を備えたミラー降下ベースのアルゴリズムと、エキスパートおよびラウンドに特化した学習率を持つ重み付き負のエントロピー正則化子を提案。
• 標準的な乗法的重み更新の形を避けるために、重みを計算するためのラインサーチ手順を導入し、各エキスパートごとに異なるチューニングを可能にする。
• レグレット解析を巧みに実施し、バウンド内に負の項を活用することで、すべての i に対して ˜O(√(ln d) Σₜ(ℓₜ,ᵢ − mₜ,ᵢ)²) の保証を達成。
• オンライン線形最適化（OLO）にこのフレームワークを一般化し、損失のパス長および分散を含むバウンドを導出。
• 未知の損失範囲および非有界直径を扱うために、ダブリングテクニックを適用。
• 複数のベースアルゴリズムを統合し、実時間で最良のものを学習するマスターアルゴリズムを設計。

実験結果

リサーチクエスチョン

• RQ1 『不可能なチューニング』問題—すべてのエキスパートに対して同時に適応的レグレットバウンドを達成できるか—は解決可能か？
• RQ2 予測ベクトル mₜ が与えられたもとで、1つのアルゴリズムがすべてのエキスパート i に対して ˜O(√(ln d) Σₜ(ℓₜ,ᵢ − mₜ,ᵢ)²) のレグレットを達成できるか？
• RQ3 このフレームワークはOLOに一般化可能で、パス長および分散に関する新たなバウンドを導けるか？
• RQ4 最小限のオーバーヘッドで最良のベースアルゴリズムを学習できるマスターアルゴリズムを設計できるか？また、新たな適応的保証を可能にするか？
• RQ5 未知の損失範囲および非有界意思決定集合を含む非制限的オンライン学習において、アルゴリズムは適応的に動作可能か？

主な発見

• 提案されたアルゴリズムは、すべてのエキスパート i に対して同時に ˜O(√(ln d) Σₜ(ℓₜ,ᵢ − mₜ,ᵢ)²) のレグレットを達成し、『不可能なチューニング』問題を解決した。
• 異なる予測ベクトル mₜ を選ぶことで、(A,B)-PROD、ADAPT-ML-PROD、OPTIMISTIC-ADAPT-ML-PROD からのバウンドを回復または改善した。
• OLOでは、r を損失共分散行列のランクとして ˜O(√(r Σₜ⟨u, ℓₜ − mₜ⟩²)) のレグレットを達成し、スイッチングレグレットおよび未知の損失範囲への一般化を可能にした。
• マスターアルゴリズムは T に関して対数的オーバーヘッドで最良のベースアルゴリズムを学習でき、エキスパートおよびOLO設定の両方で新たな結果を可能にした。
• 未知のリプシッツ連続性を伴う非制限的学習では、ダブリングテクニックを用いて意思決定集合の直径を適応的に設定し、˜O(√(r Σₜ⟨u, ℓₜ − mₜ⟩²) + √(D_T B) + G_T ||u||³/²) のレグレットを達成した。
• 事前分布 π を用いて一般化されたKLダイバージェンスの競合者に対しても対応可能であり、区間レグレットおよびバンディット設定へも拡張可能である。