[論文レビュー] On the Generalization Ability of Online Learning Algorithms for Pairwise Loss Functions

Purushottam Kar, Bharath K. Sriperumbudur+2 more|arXiv (Cornell University)|May 11, 2013

Advanced Bandit Algorithms Research参考文献 18被引用数 37

ひとこと要約

本稿では、ペアワイズ損失関数を伴うオンライン学習アルゴリズムに対して、よりタイトなラデマッハ複雑度に基づく一般化境界を導出するための、新しい対称化に基づく分離技術を提案する。この手法により、次元に依存しない境界と、強い凸性を持つ損失関数に対して高速な収束率が達成可能となり、有限バッファに基づく更新をメモリ効率よく行い、リグレットの有界性を保証することができる。

ABSTRACT

In this paper, we study the generalization properties of online learning based stochastic methods for supervised learning problems where the loss function is dependent on more than one training sample (e.g., metric learning, ranking). We present a generic decoupling technique that enables us to provide Rademacher complexity-based generalization error bounds. Our bounds are in general tighter than those obtained by Wang et al (COLT 2012) for the same problem. Using our decoupling technique, we are further able to obtain fast convergence rates for strongly convex pairwise loss functions. We are also able to analyze a class of memory efficient online learning algorithms for pairwise learning problems that use only a bounded subset of past training samples to update the hypothesis at each step. Finally, in order to complement our generalization bounds, we propose a novel memory efficient online learning algorithm for higher order learning problems with bounded regret guarantees.

研究の動機と目的

• オンライン学習アルゴリズムにおけるペアワイズおよび高階学習問題の一般化誤差境界が不十分であるという問題に対処すること。
• 入力次元に強く依存する既存のカバー数に基づく境界の限界を克服すること。
• 結合されたペアワイズ損失関数に対して、ラデマッハ複雑度に基づく解析を可能にする分離技術を開発すること。
• 有限バッファを用いたメモリ効率の良いオンライン学習を支援し、リグレットと一般化の保証を維持すること。
• Vitterのリザボア・サンプリングと同等の統計的性質を示すが、ランダムネス使用量を削減した新しいバッファ更新ポリシー（RS-x²）を提案すること。

提案手法

• 超過リスクを関数クラスのラデマッハ複雑度に変換するための分離ステップとして、期待値の対称化を導入する。
• $L_∞$ カバー数に依存しない、高階関数クラスに対するラデマッハ複雑度の拡張概念を適用する。
• 強い凸性の下で、一次元からペアワイズ学習設定へと高速収束結果を拡張するための二段階証明技法を開発する。
• バッファ内の要素を置き換えるために二項分布に従うランダムな位置数をサンプリングする新しいバッファ更新メカニズム（RS-x²）を提案する。この手法により、復元抽出に基づく一様サンプリングが保証される。
• 両方のポリシー下でバッファ要素のパターンの同時分布が同一であることを証明することで、RS-x と RS-x² の等価性を示す。
• 新しい更新ポリシーが、1回の更新あたり $\mathcal{O}(\log s)$ ビットのランダムネスしか使用しないことを確立し、Vitterのリザボア・サンプリングと同等のランダムネス効率を達成する。

実験結果

リサーチクエスチョン

• RQ1 カバー数ではなくラデマッハ複雑度を用いることで、オンラインペアワイズ学習アルゴリズムに対してよりタイトな一般化境界を導出可能か？
• RQ2 提案された対称化技術により、ペアワイズ損失関数に対して次元に依存しない一般化境界が達成可能か？
• RQ3 強い凸性を持つペアワイズ損失関数に対して、オンライン設定で高速な収束率を達成可能か？
• RQ4 有限バッファを用いたメモリ効率の良いオンライン学習が、リグレットと一般化の保証を維持可能か？
• RQ5 提案された RS-x² バッファ更新ポリシーは、ランダムネス使用量を削減しながらも、リザボア・サンプリングの統計的性質を維持可能か？

主な発見

• 提案された分離技術により、特に高次元設定において、Wangら（2012）の結果よりもタイトな一般化誤差境界が得られる。
• 従来のカバー数に基づくアプローチとは異なり、いくつかの学習状況において境界が次元に依存しない。
• 強い凸性を持つペアワイズ損失関数に対して、本手法は $\mathcal{O}(1/T)$ の高速収束率を達成し、一次元学習からペアワイズ学習へと結果を拡張する。
• バッファに基づくペナルティ関数に関してリグレット境界を満たす限り、有限バッファを用いたアルゴリズムに対しても一般化境界が確立される。
• RS-x² バッファ更新ポリシーは、1回の更新あたり $\mathcal{O}(\log s)$ ビットのランダムネスしか使用せず、従来の手法と比較してランダムネス使用量を顕著に削減する。
• RS-x² ポリシーは、元の RS-x ポリシーと統計的に同等であり、両者ともバッファ要素のパターンの同時分布が同一であるため、学習性能も同一である。