[論文レビュー] From Coin Betting to Parameter-Free Online Learning

Francesco Orabona, Dávid Pál|arXiv (Cornell University)|Feb 12, 2016

Advanced Bandit Algorithms Research参考文献 30被引用数 4

ひとこと要約

本稿は、ヒルバート空間におけるパrameter-freeオンライン学習とエキスパートアドバイスを、オンラインコインベティングアルゴリズムから両者を導出することで統一する。Krichevsky-Trofimovに基づくベティング戦略を用いることで、ヒルバート空間では$O(\norm{u}\tsqrt{T \tlog(1+T\norm{u})})$のリグレットを達成し、エキスパートアドバイスでは$O(\tsqrt{T(1 + \KL{u}{\pi})})$のリグレットを達成する。両者とも、パrameterのチューニングを必要としない。

ABSTRACT

In the recent years a number of parameter-free algorithms for online linear optimization over Hilbert spaces and for learning with expert advice have been developed. While these two families of algorithms might seem different to a distract eye, the proof methods are indeed very similar, making the reader wonder if such a connection is only accidental. In this paper, we unify these two families, showing that both can be instantiated from online coin betting algorithms. We present two new reductions from online coin betting to online linear optimization over Hilbert spaces and to learning with expert advice. We instantiate our framework using a betting algorithm based on the Krichevsky-Trofimov estimator. We obtain a simple algorithm for online linear optimization over any Hilbert space with $O( orm{u}\sqrt{T \log(1+T orm{u}}))$ regret with respect to any competitor $u$. For learning with expert advice we obtain an algorithm that has $O(\sqrt{T (1 + \KL{u}{\pi})})$ regret against any competitor $u$ and where $\KL{u}{\pi}$ is the Kullback-Leibler divergence between algorithm's prior distribution $\pi$ and the competitor. In both cases, no parameters need to be tuned.

研究の動機と目的

• ヒルバート空間におけるパrameter-freeオンライン学習とエキスパートアドバイスを、共通の枠組みの下で統一すること。
• 両問題がオンラインコインベティングアルゴリズムに還元可能であることを示すこと。
• 既存のパrameter-freeアルゴリズムにおけるパrameterチューニングの必要性を排除すること。
• ベティングフレームワークにおけるKrichevsky-Trofimov推定子を用いて、統一された理論的基盤を提供すること。

提案手法

• 新規な還元機構を用いて、ヒルバート空間上でのオンライン線形最適化をオンラインコインベティングに還元する。
• 類似した還元戦略を用いて、エキスパートアドバイスの学習をオンラインコインベティングに還元する。
• Krichevsky-Trofimov推定子を用いて、最適なリグレット保証を持つパrameter-freeベティングアルゴリズムを構築する。
• コインベティングフレームワークにおける累積損失の分析を通じて、両設定のリグレットバウンドを導出する。
• エキスパートアドバイスにおいて、事前分布$\pi$と競合者$u$の間のカルバック・ライブラー発散$\KL{u}{\pi}$を相対的パフォーマンスの指標として用いる。
• ハイパーパrameterのチューニングが一切不要であることが示され、アルゴリズムが問題構造に自動的に適応することを確立する。

実験結果

リサーチクエスチョン

• RQ1 ヒルバート空間上でのオンライン線形最適化とエキスパートアドバイスの学習は、同一のアルゴリズム的枠組みの下に統一可能か？
• RQ2 これらの2つのアルゴリズム族の間で見られる証明技法の類似性は偶然的であるのか、構造的に本質的であるのか？
• RQ3 オンラインコインベティングは、多様なオンライン学習設定におけるパrameter-freeアルゴリズムを構築する基盤的プリミティブとして機能可能か？
• RQ4 Krichevsky-Trofimov推定子に基づくベティングアルゴリズムを用いることで、これらの設定で達成可能なリグレットバウンドは何か？
• RQ5 得られるアルゴリズムは、手動によるパrameterチューニングなしで最適なリグレットを達成可能か？

主な発見

• 提案されたアルゴリズムは、任意のヒルバート空間上でのオンライン線形最適化において、任意の競合者$u$に関して$O(\norm{u}\tsqrt{T \tlog(1+T\norm{u})})$のリグレットを達成する。
• エキスパートアドバイスの設定では、$O(\tsqrt{T(1 + \KL{u}{\pi})})$のリグレットを達成する。ここで$\KL{u}{\pi}$は、事前分布$\pi$と競合者$u$の間のカルバック・ライブラー発散を表す。
• リグレットバウンドは対数要因を除いて最適であり、ハイパーパrameterのチューニングを一切必要としない。
• この枠組みは、共通のコインベティング基盤を介して、2つの見かけ上異なるパrameter-freeアルゴリズム族を成功裏に統一する。
• Krichevsky-Trofimov推定子の使用により、両設定において適応的かつパrameter-freeな性能が実現される。
• コインベティングから両オンライン学習問題への還元は一般性を持ち、他のベティング戦略にも適用可能である。