[論文レビュー] Online Learning with Many Experts

Alon Cohen, Shie Mannor|arXiv (Cornell University)|Feb 25, 2017

Advanced Bandit Algorithms Research参考文献 27被引用数 3

ひとこと要約

本稿では、予測の専門家アドバイスに対するオンライン学習アルゴリズムを提示しており、そのレジーットバウンドは $\widetilde{O}(\epsilon T + \mathcal{N}(\epsilon, L_T) + \sqrt{T\mathcal{N}(\epsilon, L_T)})$ である。ここで $\mathcal{N}(\epsilon, L_T)$ は、上限ノルム下での損失関数列の $\epsilon$-カバー数である。アルゴリズムは損失列のカバーを動的に構築し、後から $\epsilon$ を自動的に調整することで、専門家の数に依存しないレジーットを実現し、専門家の数が無限であっても成立する。

ABSTRACT

We study the problem of prediction with expert advice when the number of experts in question may be extremely large or even infinite. We devise an algorithm that obtains a tight regret bound of $\widetilde{O}(εT + N + \sqrt{NT})$, where $N$ is the empirical $ε$-covering number of the sequence of loss functions generated by the environment. In addition, we present a hedging procedure that allows us to find the optimal $ε$ in hindsight. Finally, we discuss a few interesting applications of our algorithm. We show how our algorithm is applicable in the approximately low rank experts model of Hazan et al. (2016), and discuss the case of experts with bounded variation, in which there is a surprisingly large gap between the regret bounds obtained in the statistical and online settings.

研究の動機と目的

• 専門家の数が非常に多くあるいは無限である場合に、従来のレジーットバウンドが専門家数に悪く依存するのを緩和すること。
• レジーットが専門家の数ではなく、損失列の経験的 $\\epsilon$-カバー数に依存するアルゴリズムの開発。
• 事前に知識がなくても、精度パラメータ $\\epsilon$ を自動的に調整するハーディング手順の設計。
• 有界変動を示す専門家における統計的・オンライン設定の性能ギャップの分析。
• 低ランク専門家や二値損失設定などの構造的専門家モデルへの適用可能性の提示。

提案手法

• アルゴリズムは、損失が順次明らかにされるのと同時に、損失関数列 $L_T = (\ell_1, \dots, \ell_T)$ の $\\epsilon$-カバーをオンラインで構築する。
• 全専門家集合の損失行動を近似する代表専門家の集合を維持するために、動的パッキング戦略を用いる。
• 上限ノルム下でのカバー数解析と集中不等式を組み合わせることで、レジーットバウンドを導出する。
• ハーディング手順を導入し、$\epsilon T$ 項と $\sqrt{T \mathcal{N}(\epsilon, L_T)}$ 項のバランスを取ることで、後から最適な $\\epsilon$ を選択する。
• 適切なカバー数バウンドを用いることで、低ランク専門家や有界変動専門家などの構造的設定に適用可能である。
• コンactメトリック空間におけるメトリックエントロピーとパッキングの議論を用いて、理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 専門家の数が非常に多くあるいは無限である場合に、オンライン学習のレジーットを専門家の数に依存させないことは可能か？
• RQ2 オンライン専門家学習における近似誤差（$\epsilon T$）と複雑さ（$\mathcal{N}(\epsilon, L_T)$）の最適なトレードオフは何か？
• RQ3 事前に知識がなくても、オンライン学習における精度パラメータ $\\epsilon$ を自動的に調整することは可能か？
• RQ4 有界変動を示す専門家において、統計的設定とオンライン設定のレジーットギャップがなぜこれほど大きくなるのか？
• RQ5 提案されたアルゴリズムは、低ランクや二値損失設定などの構造的専門家モデルにおいて、タイトなレジーットバウンドを達成できるか？

主な発見

• アルゴリズムは、専門家の総数に依存しないレジーットバウンド $\widetilde{O}(\epsilon T + \mathcal{N}(\epsilon, L_T) + \sqrt{T\mathcal{N}(\epsilon, L_T)})$ を達成する。
• 低ランク専門家モデルでは、カバー数 $\mathcal{N}(\epsilon, L_T)$ が $O((2n/\epsilon)^k)$ で有界であり、$k$-スパース専門家ではレジーットが $\widetilde{O}(T^{k/2})$ となる。
• $V$ 回の変動を示す有界変動ケースでは、レジーットは $\widetilde{O}(T^{V/2})$ となり、$V \geq 2$ の場合、これは自明である。これは、統計的・オンライン設定の間の根本的なギャップを示している。
• 下界の結果により、$T < \log K$ かつ $V \leq 2$ の場合、定数変動であっても、任意の学習者が少なくとも $T$ の期待レジーットを被る必要があることが示された。
• ハーディング手順により、事前に知識がなくても $\\epsilon$ の最適選択が可能となり、後から最適なトレードオフを達成できる。
• 本稿では、高次元環境と低複雑性環境の両方でタイトなレジーットバウンドを達成するアルゴリズムの開発が、重要な未解決問題であると特定した。