[論文レビュー] Supervised Learning with Similarity Functions

Purushottam Kar, Prateek Jain|arXiv (Cornell University)|Oct 22, 2012

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 9

ひとこと要約

本稿では、従来の正定値（PSD）カーネルにとどまらない、不定な類似度関数を用いた教師あり学習の汎用的フレームワークを提案する。目標値に基づく良さの基準を導入することで、回帰、順序回帰、ランク付けの各タスクにおいて、一般化誤差が有界であることを保証する。ランドマーク法を応用することで、効率的な学習が可能となり、スパースランドマーク選択法により、ベースラインのカーネル法に比べて計算効率と精度が向上する。

ABSTRACT

We address the problem of general supervised learning when data can only be accessed through an (indefinite) similarity function between data points. Existing work on learning with indefinite kernels has concentrated solely on binary/multi-class classification problems. We propose a model that is generic enough to handle any supervised learning task and also subsumes the model previously proposed for classification. We give a "goodness" criterion for similarity functions w.r.t. a given supervised learning task and then adapt a well-known landmarking technique to provide efficient algorithms for supervised learning using "good" similarity functions. We demonstrate the effectiveness of our model on three important super-vised learning problems: a) real-valued regression, b) ordinal regression and c) ranking where we show that our method guarantees bounded generalization error. Furthermore, for the case of real-valued regression, we give a natural goodness definition that, when used in conjunction with a recent result in sparse vector recovery, guarantees a sparse predictor with bounded generalization error. Finally, we report results of our learning algorithms on regression and ordinal regression tasks using non-PSD similarity functions and demonstrate the effectiveness of our algorithms, especially that of the sparse landmark selection algorithm that achieves significantly higher accuracies than the baseline methods while offering reduced computational costs.

研究の動機と目的

• 正定値（PSD）カーネルにとどまらない、不定な類似度関数の使用を可能にするように、教師あり学習を拡張すること。
• 分類に特化した基準を包含するように、目標値の類似度に基づく汎用的な「良さ」の基準を定義すること。
• 一般化誤差が有界であることを保証する、多様な教師ありタスクに適用可能な効率的な学習アルゴリズムを開発すること。
• ランドマーク選択における計算非効率性を解消するため、理論的保証を伴うスパースランドマーク法を導入すること。
• 訓練データをランドマークとして再利用すること（ダブルディッピング）の理論的妥当性を理論的分析により裏付けること。

提案手法

• 目標値に基づく良さの基準を提案：類似したデータポイントは類似した目標値を持つべきであり、分類のマージンに基づく基準を一般化する。
• ランドマーク法を適応し、代表的なランドマークの集合を用いて、類似度に基づく学習を低次元空間における線形問題に変換する。
• 正則化項を含む重み付き最小二乗法を用いて、ランドマーク特徴空間における予測器を学習する。
• スパースベクトル回復（[10]より）を適用し、少数の影響力のあるランドマークのサブセットを特定することで、学習および推論コストを削減する。
• レプレーザ定理を用いて、解をランドマーク重みの形で表現し、効率的な最適化を可能にする。
• 理論的分析により、回帰、順序回帰、ランク付けタスクにおいて、多項式的サンプル複雑度で一般化誤差が有界であることが示された。

実験結果

リサーチクエスチョン

• RQ1 二値分類にとどまらない、多様な教師あり学習タスクをカバーできる汎用的な類似度関数の良さの基準を定義できるか？
• RQ2 不定な類似度関数を用いる場合に、ランドマーク法を適応することで一般化誤差の境界を保証できるか？
• RQ3 スパースランドマーク選択は、不定カーネルを用いた学習における計算コストを削減しながらも、一般化性能を維持できるか？
• RQ4 訓練データをランドマークとして再利用すること（ダブルディッピング）は、理論的に正当化できるか？
• RQ5 実世界の回帰および順序回帰データセットにおいて、提案手法は標準的なカーネル回帰と比較して実用的に優れているか？

主な発見

• 提案フレームワークは、不定な類似度関数を用いて、実数値回帰、順序回帰、ランク付けタスクにおいて一般化誤差が有界であることを達成した。
• スパースランドマーク選択アルゴリズムは、ベースライン手法に比べて顕著に精度が向上し、テスト時の計算コストも削減した。
• ベンチマークデータセットにおいて、ランドマーク法に基づく手法（RegLandおよびORLand）は、ガウスカーネル、オイラー距離、マンハッタン距離の複数のカーネルにおいて、カーネル回帰よりも低い平均二乗誤差および絶対誤差を達成した。
• 理論的分析により、良さの基準がすべての良いPSDカーネルを包含しており、従来のカーネル法と互換性があることが確認された。
• スパースベクトル回復を用いて導出されたスパース予測器は、少数のランドマークしか使用しなくても、一般化誤差が有界であることを維持した。
• 理論的裏付けにより、訓練データをランドマークとして再利用すること（ダブルディッピング）が、一般化保証を損なわずに実用的に行えることが示された。