[論文レビュー] Relax and Localize: From Value to Algorithms

Alexander Rakhlin, Ohad Shamir+1 more|arXiv (Cornell University)|Apr 4, 2012

Advanced Bandit Algorithms Research参考文献 23被引用数 8

ひとこと要約

この論文は、ミニマックス解析から直接オンライン学習アルゴリズムを導出する原理的フレームワークを導入し、非構成的レジレットバウンドを実行可能なアルゴリズムに変換する。逐次ラデマッハ複雑度の緩和と局所化された複雑度測度の導入により、より速い収束レートが可能となり、Follow the Perturbed Leader やトレースノルム正則化付き行列補完アルゴリズムといった既知の手法を回復または改善する。

ABSTRACT

We show a principled way of deriving online learning algorithms from a minimax analysis. Various upper bounds on the minimax value, previously thought to be non-constructive, are shown to yield algorithms. This allows us to seamlessly recover known methods and to derive new ones. Our framework also captures such "unorthodox" methods as Follow the Perturbed Leader and the R^2 forecaster. We emphasize that understanding the inherent complexity of the learning problem leads to the development of algorithms. We define local sequential Rademacher complexities and associated algorithms that allow us to obtain faster rates in online learning, similarly to statistical learning theory. Based on these localized complexities we build a general adaptive method that can take advantage of the suboptimality of the observed sequence. We present a number of new algorithms, including a family of randomized methods that use the idea of a "random playout". Several new versions of the Follow-the-Perturbed-Leader algorithms are presented, as well as methods based on the Littlestone's dimension, efficient methods for matrix completion with trace norm, and algorithms for the problems of transductive learning and prediction with static experts.

研究の動機と目的

• 非構成的ミニマックスレジレットバウンドと実用的オンライン学習アルゴリズムの間のギャップを埋めること。
• 緩和技術を通じて逐次複雑度測度とアルゴリズム設計の関係を形式化すること。
• オンライン学習におけるより速い収束レートを可能にする、逐次ラデマッハ複雑度の局所化分析を構築すること。
• Follow the Perturbed Leader やランダムプレーポジション手法を含む多様なアルゴリズムを、一つの理論的枠組みで統一すること。
• 敵対的シーケンスにおける非最適性を活用する、データに依存する適応的アルゴリズムを設計すること。

提案手法

• 逐次ラデマッハ複雑度の緩和を通じて、ミニマックス値からアルゴリズムを導出し、ミニマックス値をアルゴリズム設計の代理指標として扱う。
• 局所化された逐次ラデマッハ複雑度を導入し、統計的学習理論における局所化複雑度に類似した方法で、高速レートを達成する。
• 緩和に基づくメタアルゴリズムを提案し、既知および新規のオンライン学習手法を具体化可能にしている。
• 理論的分析に基づくランダムプレーポジションメカニズムを採用し、Follow the Perturbed Leader などの手法が特定の緩和下で最適であることを正当化する。
• 観測されたシーケンスがミニマックス最適であるかどうかを動的にチェックし、それに応じて学習戦略を調整する適応的アルゴリズムを開発する。
• トレースノルムを用いた行列補完、伝達学習、静的エキスパートを用いた予測といった特定の問題に、適切な緩和を用いてフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 非構成的ミニマックスレジレットバウンドを、体系的に実用的オンライン学習アルゴリズムに変換できるか？
• RQ2 局所化された逐次ラデマッハ複雑度はどのように定義され、オンライン学習におけるより速い収束レートを達成するためにどのように利用できるか？
• RQ3 ランダム化手法（例：Follow the Perturbed Leader やランダムプレーポジション）の理論的根拠は何か？
• RQ4 一つの適応的フレームワークは、敵対的シーケンスにおける非最適行動を検出し、それを活用してレジレット保証を改善できるか？
• RQ5 ミニマックス値の緩和は、既存のオンライン学習アルゴリズムを統一・一般化するためにどのように利用できるか？

主な発見

• 論文は、ミニマックス値の緩和が有効なアルゴリズムに対応することを確立し、理論的バウンドからオンライン学習手法を導出可能であることを示した。
• 局所化された逐次ラデマッハ複雑度が導入され、オンライン学習ゲームの値を上界で抑えられ、有利な条件下で高速レートを達成可能であることが示された。
• フレームワークにより、Follow the Perturbed Leader や $R^2$ フォーキャスターといった既知のアルゴリズムが、提案された緩和ベースメタアルゴリズムの特別なケースとして回復された。
• ランダムプレーポジションに基づく新しいランダム化アルゴリズムの族が導出され、緩和フレームワークに根ざした理論的正当性が与えられた。
• 非最適な敵対的行動を検出し、それに応じて学習戦略を調整する適応的アルゴリズムが開発され、有益なシーケンスではレジレットが改善された。
• トレースノルム行列補完や静的エキスパートを用いた予測といった問題において、より良いレジレットバウンドと計算効率が得られた。