[論文レビュー] Second-order Quantile Methods for Experts and Combinatorial Games

Wouter M. Koolen, Tim van Erven|arXiv (Cornell University)|Feb 27, 2015

Advanced Bandit Algorithms Research参考文献 30被引用数 20

ひとこと要約

本稿では、分散に依存する2次レジストーバウンドと、専門家品質の事前知識に依存する分位数バウンドを組み合わせる、学習率の階層的事前分布を用いた、SquintおよびComponent iProdという2つの新しいオンライン学習アルゴリズムを提案する。主な貢献は、両方の改善を同時に達成する初めてのレジストーバウンドであり、一様分布および対数一様分布の両方に対して効率的な実装が可能である。

ABSTRACT

We aim to design strategies for sequential decision making that adjust to the difficulty of the learning problem. We study this question both in the setting of prediction with expert advice, and for more general combinatorial decision tasks. We are not satisfied with just guaranteeing minimax regret rates, but we want our algorithms to perform significantly better on easy data. Two popular ways to formalize such adaptivity are second-order regret bounds and quantile bounds. The underlying notions of 'easy data', which may be paraphrased as "the learning problem has small variance" and "multiple decisions are useful", are synergetic. But even though there are sophisticated algorithms that exploit one of the two, no existing algorithm is able to adapt to both. In this paper we outline a new method for obtaining such adaptive algorithms, based on a potential function that aggregates a range of learning rates (which are essential tuning parameters). By choosing the right prior we construct efficient algorithms and show that they reap both benefits by proving the first bounds that are both second-order and incorporate quantiles.

研究の動機と目的

• 分散が低いか、複数の有用な専門家が存在するような簡単なデータに対して、著しく優れた性能を発揮する適応的オンライン学習アルゴリズムの設計。
• 2次レジストーバウンド（分散に基づく）と分位数バウンド（事前知識に基づく専門家選択）という2つの補完的で適応的学習パラダイムの統合。
• 最適な学習率を学習率パラメータηの事前分布を通じて学習する手法の開発。これにより、データの分散と専門家の質の両方に同時に適応可能となる。

提案手法

• 学習率ηの範囲にわたる潜在関数を提案し、ηに確率分布（事前分布）を導入する。
• ベイジアン混合を用いてηの積分によりレジストーバウンドを導出。事前分布は最適な学習率に関する仮定を符号化する。
• 専門家設定（Squint）および組み合わせゲーム（Component iProd）にこの手法を適用。成分別集約戦略を用いる。
• 計算コストとレジストーオーバーヘッドのバランスを図るため、指数的グリッド離散化を用いる。
• 一様分布および対数一様分布の事前分布を用いて、効率的かつタイトなバウンドを達成するアルゴリズムを実現。対数一様分布の場合にはClr = ln ln Tが達成される。
• 混合損失と分散項を組み合わせた新しい潜在関数を導入。これにより、2次分位数バウンドが可能となる。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習アルゴリズムは、分散が低いデータと複数の高性能な専門家が存在する状況の両方に同時に適応可能か？
• RQ2 1つのアルゴリズムが2次レジストーバウンドと分位数バウンドの両方を達成可能か？
• RQ3 最適な学習率を、簡単なデータと難しいデータの両方の状況で性能向上をもたらす方法で適応的に学習できるか？
• RQ4 どの学習率の事前分布が、効率的で最適なレジストーバウンド保証を持つアルゴリズムをもたらすか？
• RQ5 この手法は、専門家アドバイスを超えた組み合わせ的意思決定問題へ一般化可能か？

主な発見

• Squintは、レジストーバウンドRK_T ≺ √(V^K_T * (Clr - ln π(K)))を達成し、Clr = ln ln T（対数一様分布の場合）となる。分散と分位数の両方の利点を統合する。
• 対数一様分布を用いたアルゴリズムはClr = ln ln Tを達成し、ln ln Tを定数とみなすことで、2次レジストーバウンドと分位数適応性の両方を実現する。
• 一様分布を用いた場合、アルゴリズムは効率的（1ラウンドあたりK回の操作）であり、Clr = ln V^K_Tを達成。依然として両方の適応性タイプを統合する。
• Component iProdは、組み合わせゲームへこの手法を拡張し、レジストーバウンドR^v_T ≤ (4/√3)√(V^v_T * (△²(v||π) + K ln⌈1 + log₂T⌉)) + 4△²(v||π) + K max{4 ln⌈1 + log₂T⌉, 1}を達成する。
• 学習率ηの事前分布を通じて最適な学習率を学習することは、分散と分位数の両方の適応性を可能にし、確率的および有界損失設定において理論的保証が成立することを示した。
• このアプローチは損失正規化に対してロバストであり、行列値予測やスイッチング専門家への拡張が可能であり、広範な適用可能性を示唆している。