[論文レビュー] Online Learning with Pairwise Loss Functions

Yuyang Wang, Roni Khardon+2 more|arXiv (Cornell University)|Jan 22, 2013

Advanced Bandit Algorithms Research参考文献 33被引用数 10

ひとこと要約

本稿は、順序付け学習およびメトリック学習におけるオンライン学習のための、初めてのデータ依存一般化バウンドを提示する。これにより、順序付けおよびメトリック学習におけるオンラインからバッチへの変換が可能になる。本稿では、オンライン系列から低リスク仮説を導出するための新しい理論的枠組みを提案し、投影勾配降下法とU統計量分析を用いて、二部順序付けおよび教師付きメトリック学習において最適な収束率を達成する。

ABSTRACT

Efficient online learning with pairwise loss functions is a crucial component in building large-scale learning system that maximizes the area under the Receiver Operator Characteristic (ROC) curve. In this paper we investigate the generalization performance of online learning algorithms with pairwise loss functions. We show that the existing proof techniques for generalization bounds of online algorithms with a univariate loss can not be directly applied to pairwise losses. In this paper, we derive the first result providing data-dependent bounds for the average risk of the sequence of hypotheses generated by an arbitrary online learner in terms of an easily computable statistic, and show how to extract a low risk hypothesis from the sequence. We demonstrate the generality of our results by applying it to two important problems in machine learning. First, we analyze two online algorithms for bipartite ranking; one being a natural extension of the perceptron algorithm and the other using online convex optimization. Secondly, we provide an analysis for the risk bound for an online algorithm for supervised metric learning.

研究の動機と目的

• AUCを最大化する大規模システムにとって不可欠な、ペアワイズ損失関数を用いたオンライン学習の一般化バウンドの欠如に取り組む。
• 従来、スカラー損失関数に限定されていたオンライン学習理論を、例のペアに依存するペアワイズ損失関数を扱えるように拡張する。
• 二部順序付けおよびメトリック学習におけるオンラインアルゴリズムの理論的基盤を提供し、低期待リスクを保証する。
• 本フレームワークが、AUC最大化や距離メトリック学習といった実世界の問題に適用可能であることを示す。
• ペアワイズ損失関数に対して、タイトでデータ依存のリスクバウンドを備えた一般なオンラインからバッチへの変換法を確立する。

提案手法

• 任意のオンライン学習者に対して、ペアワイズ損失関数を用いたデータ依存一般化バウンドを、仮説系列上の平均リスクの新たな分析に基づいて導出する。
• 本フレームワークを、二部順序付けのための2つのオンラインアルゴリズム（パーセプトロン風拡張とオンライン凸最適化アプローチ）に適用する。
• マージン制約に基づく凸損失関数を用いた、教師付きメトリック学習のためのオンライン投影勾配降下アルゴリズムを提案する。
• U統計量形式および経験的ベルンシュタイン不等式を用いて、アンサンブル平均仮説のリスクをバウンドする。
• サイズO(log n)のランダムバッファを用いたバッファベースのオンラインからバッチへの変換を導入し、低リスク仮説への収束を保証する。
• メトリック学習におけるメトリック性を維持するため、正定値行列の集合への射影ステップを採用する。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習の一般化バウンドを、スカラー関数からペアワイズ損失関数へ拡張することは可能か？
• RQ2 任意のオンライン学習者がペアワイズ損失関数を用いて生成する仮説系列の期待リスクは何か？
• RQ3 データ依存的に、オンライン仮説系列から低リスク仮説を抽出することは可能か？
• RQ4 提案されたフレームワークは、二部順序付けおよびメトリック学習に、証明可能な収束保証とともに適用可能か？
• RQ5 定数サイズのバッファを用いて、オンラインペアワイズ学習で最適な収束率を達成することは可能か？

主な発見

• 本稿は、任意のオンライン学習者に対して有効な、ペアワイズ損失関数を用いたオンライン学習の最初のデータ依存一般化バウンドを確立する。
• オンライン二部順序付けにおいて、本フレームワークはパーセプトロン風アルゴリズムとオンライン凸最適化アプローチの両方をサポートし、最適なレグルレーションおよびリスクバウンドを達成する。
• 教師付きメトリック学習において、オンライン投影勾配降下アルゴリズムは、Pr[ℛ(𝐀̄) ≥ (1/(n−cₙ))(M* + √n) + ε] ≤ [2((32R/ε)+1)^d + 1] exp{−(cn−1)ε²/64 + ln n} の形式のリスクバウンドを達成し、収束を保証する。
• 理論的分析により、収束にはサイズO(log n)のランダムバッファで十分であることが示されたが、このサイズの必要性は未解決の問題のままである。
• 本フレームワークは一般性を有し、jинら(2009)の研究に含まれるレグルレーション保証付きのすべてのオンラインメトリック学習アルゴリズムに適用可能である。
• 結果として、ペアワイズ損失関数に対してもオンラインからバッチへの変換が可能であることが示され、オンラインアルゴリズムをバッチ学習に強力な一般化保証とともに応用可能となる。