[論文レビュー] Coin Betting and Parameter-Free Online Learning

Francesco Orabona, Dávid Pál|arXiv (Cornell University)|Feb 12, 2016

Advanced Bandit Algorithms Research被引用数 16

ひとこと要約

この論文は、コインベッティングに基づく、ハイパーパramータを必要としないオンライン学習フレームワークを提案する。Krichevsky-Trofimov推定器を用いることで、学習率のチューニングが不要な最適なレグレットバウンドを達成する。この手法は、オンライン線形最適化やエキスパートアドバイスの学習を簡素化し、従来の結果を同等または上回るレグレット保証と1ラウンドあたりの計算量を達成するが、パrameterを設定する必要がない。

ABSTRACT

In the recent years, a number of parameter-free algorithms have been developed for online linear optimization over Hilbert spaces and for learning with expert advice. These algorithms achieve optimal regret bounds that depend on the unknown competitors, without having to tune the learning rates with oracle choices. We present a new intuitive framework to design parameter-free algorithms for \emph{both} online linear optimization over Hilbert spaces and for learning with expert advice, based on reductions to betting on outcomes of adversarial coins. We instantiate it using a betting algorithm based on the Krichevsky-Trofimov estimator. The resulting algorithms are simple, with no parameters to be tuned, and they improve or match previous results in terms of regret guarantee and per-round complexity.

研究の動機と目的

• ヒルバート空間におけるパrameterフリーなオンライン学習およびエキスパートアドバイスの学習のための統一的で直感的なフレームワークの構築。
• 従来の方法が競合者ノルムや発散度の知識を必要とするオракルチューニングされた学習率の必要性を排除すること。
• 最小限の計算オーバーヘッドで最適なレグレットバウンドを達成し、レグレットが不適切または1ラウンドあたりの計算量が高い既存の手法を改善すること。
• 非構成的フレームワークの限界を克服する、構成的かつ実装可能なパrameterフリー学習のアプローチを提供すること。

提案手法

• オンライン線形最適化およびエキスパートアドバイスの学習を、敵対的コインの結果に対するベッティング問題に還元する。
• Krichevsky-Trofimov (KT) 推定器を用いて、未知の競合者ノルムや発散度に適応するベッティング戦略を定義する。
• Fenchel共役およびLambert W関数を用いて、ベッティング戦略の閉形式更新を導出する。
• 潜在関数とガンマ関数および修正ベッセル関数の漸近的近似を用いて、レグレットバウンドを導出する。
• 潜在関数の逆関数を用いて、未知の競合者のノルムや発散度の関数としてレグレットをバウンドする。
• 連続的コインベッティングアルゴリズム（COCOB）を導入し、各ラウンドで効率的かつパrameterフリーな更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 パrameterフリーなオンライン学習のための統一的で直感的なフレームワークを、オラクルによる学習率チューニングを回避して開発することは可能か？
• RQ2 オンライン線形最適化およびエキスパートアドバイスの学習を、保証されたレグレットバウンドを持つコインベッティング問題に還元することは可能か？
• RQ3 KT推定器に基づくどのベッティング戦略が、パrameterチューニングを必要とせず最適なレグレットを達成するか？
• RQ4 得られたアルゴリズムは、両方のレグレットと1ラウンドあたりの計算量において、既存の結果を同等または上回ることができるか？
• RQ5 閉形式更新と最適な理論的性能を備えたパrameterフリーなアルゴリズムを構築することは可能か？

主な発見

• 提案されたアルゴリズムは、ヒルバート空間上でのオンライン線形最適化に対して、$\mathcal{O}(\|u\|\sqrt{T\ln(1+\|u\|T)})$ のレグレットバウンドを達成し、最高水準の理論的バウンドと一致する。
• エキスパートアドバイスの学習において、$\mathcal{O}(\sqrt{T(\ln\ln T + \mathrm{D}(u\|\pi))})$ のレグレットバウンドを達成し、$\mathcal{O}(\log\log T)$ 要素を含む従来の結果を改善する。
• 1ラウンドあたりの計算量は僅か $\mathcal{O}(1)$ に留まり、各ラウンドで数値的問題を解く必要がある手法よりも顕著に改善されている。
• フレームワークは構成的で直感的であり、コインベッティングへの還元に基づくため、パrameterフリー学習の新しい視点を提供する。
• Lambert W関数とFenchel双対性の使用により、数値最適化を伴わず閉形式での更新が可能である。
• アルゴリズムはパrameterフリーであり、未知の競合者ノルムや発散度に適応し、事前の知識なしに最適な性能を達成する。