[論文レビュー] Combining Online Learning Guarantees

Ashok Cutkosky|arXiv (Cornell University)|Feb 24, 2019

Advanced Bandit Algorithms Research参考文献 25被引用数 3

ひとこと要約

この論文は、任意の2つのパラメータフリーなオンライン学習アルゴリズムの反復を加算することで組み合わせる、単純ながら強力なメタアルゴリズムを導入している。この手法により、2つの基本アルゴリズムのレグレットの最小値で抑えられる新たなアルゴリズムが得られる。さらに、このアイデアを拡張して、複数のヒント系列に適応し、次元に依存しない、パラメータフリーのレグレット保証を達成する、汎用的で安全な楽観的オンライン学習フレームワークを構築している。

ABSTRACT

We show how to take any two parameter-free online learning algorithms with different regret guarantees and obtain a single algorithm whose regret is the minimum of the two base algorithms. Our method is embarrassingly simple: just add the iterates. This trick can generate efficient algorithms that adapt to many norms simultaneously, as well as providing diagonal-style algorithms that still maintain dimension-free guarantees. We then proceed to show how a variant on this idea yields a black-box procedure for generating optimistic online learning algorithms. This yields the first optimistic regret guarantees in the unconstrained setting and generically increases adaptivity. Further, our optimistic algorithms are guaranteed to do no worse than their non-optimistic counterparts regardless of the quality of the optimistic estimates provided to the algorithm.

研究の動機と目的

• 異なるレグレット保証を持つオンライン学習アルゴリズムをブラックボックス的に組み合わせ、その両方の最良な性能を達成するレグレット性能を実現するための手法の開発。
• 比較対象点や勾配ノルムの事前知識がなくても、複数のノルムを同時に適応可能な、パラメータフリーなオンライン学習の実現。
• 劣悪なヒントに対しても最悪性能を保証する、汎用的で安全な還元手法を用いて楽観的オンライン学習アルゴリズムを生成する新しい枠組みの導入。
• 従来の手法が有界ドメインに限定されていた楽観的オンライン学習を、非有界ドメインへと拡張すること。
• 後向きに最良の固定ヒント系列と競合する統一されたフレームワークの提供により、適応性の向上。

提案手法

• コアとなる技術は、各ラウンドで2つのオンライン学習アルゴリズムの反復を加算することで、その結果得られる新たなアルゴリズムのレグレットが、個々のレグレットの点ごとの最小値で抑えられることである。
• ゼロでのレグレットが有界である任意のパラメータフリーなアルゴリズムに適用可能であり、次元に依存しない、ノルムに適応する保証を達成できる。
• 楽観的学習の文脈では、任意の適応的アルゴリズムを、ヒントの上での双対最適化スキームを用いて楽観的なものに変換する還元手法を導入している。
• 楽観的アルゴリズムは、最良のヒント系列に対するレグレットを最小化するための代理損失関数を用い、オンライン凸最適化を活用して適応的なヒントを生成している。
• 非有界ドメインの設定において、境界をタイトに保つために、標準的な二乗和の代わりに内積を含むより洗練された表現を用いた損失関数の変種を導入している。
• フレームワークは頑健である：ヒントがいかに劣悪であっても、レグレットは元の非楽観的アルゴリズムのものよりも悪化しない。

実験結果

リサーチクエスチョン

• RQ1 異なるレグレット保証を持つ2つのオンライン学習アルゴリズムを、その両方のレグレットの最小値を達成する1つのアルゴリズムに組み合わせることは可能か？
• RQ2 劣悪なヒントに対しても安全であり、複数のヒント系列に適応可能な、汎用的でブラックボックス的な楽観的オンライン学習アルゴリズムを生成する手法は設計可能か？
• RQ3 次元に依存しない、パラメータフリーのレグレット保証を維持したまま、楽観的オンライン学習を非有界ドメインに拡張することは可能か？
• RQ4 最良の固定ヒントと競合するヒント生成戦略を構築することは可能か？ これにより適応性が向上するか？
• RQ5 このフレームワークを用いて、ヒルベルト空間において、例えば経験的ベルヌーイの境界のような新たなレグレット境界を導出できるか？

主な発見

• 反復の加算手法により、2つの基本アルゴリズムのレグレットの点ごとの最小値で抑えられるレグレットが達成され、最適なアルゴリズムの事前知識がなくても「あらゆる世界の最良」の性能を実現できる。
• この手法により、複数のノルムを同時に適応する効率的なアルゴリズムが得られ、次元に依存しないレグレット保証が維持される。
• 楽観的バージョンのアルゴリズムは、$ R_T(u) \leq O\left[B(u) \min\left(\sqrt{\sum \|g_t\|^2}, \sqrt{\sum \|g_t - h_t\|^2}\right)\right] $ の形のレグレット境界を達成し、先行研究を改善している。
• 非有界設定では、境界がさらに精錬され、$ \sum \|g_t - h_t\|^2 - \|h_t\|^2 $ となる。これは勾配が相関している場合にタイトな性能を実現できる。
• アルゴリズムは証明的に安全である：ヒントがいかに劣悪であっても、レグレットは元の非楽観的アルゴリズムのものより悪化しない。
• 損失 $ \ell_t(h) = \|g_t - h\|^2 $ に対してオンライン学習を用いた単純なヒント生成スキームが、最良の固定ヒントと同等のレグレットを達成でき、$ \tilde{O}(\|u\|\sqrt{\sum \|g_t - \bar{g}\|^2}) $ となる。これは、先行研究を非有界ドメインへと一般化している。