[論文レビュー] Metric and Kernel Learning using a Linear Transformation

Prateek Jain, Brian Kulis+2 more|ArXiv.org|Oct 30, 2009

Face and Expression Recognition参考文献 27被引用数 12

ひとこと要約

本稿では、入力データの線形変換を学習することにより、メトリックおよびカーネル学習のスケーラブルな手法を提案する。LogDet散発を用いて、効率的なカーネル化と未知データへの一般化を可能にする。このアプローチは高次元空間へ一般化可能であり、視覚およびテキスト分類タスクにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Metric and kernel learning are important in several machine learning applications. However, most existing metric learning algorithms are limited to learning metrics over low-dimensional data, while existing kernel learning algorithms are often limited to the transductive setting and do not generalize to new data points. In this paper, we study metric learning as a problem of learning a linear transformation of the input data. We show that for high-dimensional data, a particular framework for learning a linear transformation of the data based on the LogDet divergence can be efficiently kernelized to learn a metric (or equivalently, a kernel function) over an arbitrarily high dimensional space. We further demonstrate that a wide class of convex loss functions for learning linear transformations can similarly be kernelized, thereby considerably expanding the potential applications of metric learning. We demonstrate our learning approach by applying it to large-scale real world problems in computer vision and text mining.

研究の動機と目的

• 高次元データに対してスケーリングが悪く、新しいデータポイントへの一般化が欠如している伝統的なマハラノビス距離学習の限界を解消する。
• 多数のカーネル学習手法が従来のトランスダクティブ性を示し、未知データを扱えない問題を解決するため、線形変換のカーネル化により一般化を可能にする。
• 特にLogDet散発を用いた凸損失関数を用いて、高次元特徴空間における線形変換の学習のためのスケーラブルな最適化フレームワークを開発する。
• LogDetに限らない広範な凸損失関数クラスへフレームワークを拡張し、柔軟かつ一般化可能なメトリック/カーネル学習を実現しながら、計算効率と未知データへの一般化能力を維持する。
• コンピュータビジョンおよびテキストマイニング分野のスケールの大きな実世界問題において、提案手法の有効性を実証し、既存の最先端技術を一貫して上回ることを示す。

提案手法

• メトリック学習を、入力データの線形変換の学習として定式化する。マハラノビス距離は $ d_A(\mathbf{x}_i, \mathbf{x}_j) = \| A\phi(\mathbf{x}_i) - A\phi(\mathbf{x}_j) \|^2 $ で定義され、$ A $ は最適化により学習される。
• 正定値変換行列 $ W $ を学習するために、LogDet散発を損失関数として用いる。これにより、自然に正定値性が保証され、最適化が簡素化される。
• Bregman射影を適用して最適化問題を効率的に解き、数百万のデータポイントへのスケーラビリティを実現する。
• 学習されたカーネルを $ \phi(\mathbf{x})^T W \phi(\mathbf{y}) $ として表現することで、学習プロセスをカーネル化し、未観測のデータポイントへの一般化を可能にする。
• 代表的な定理に類する結果を用いて、学習された変換 $ W $ をトレーニングデータポイントの基底として表現し、任意のテストインスタンスにおけるカーネル値の評価を可能にする。
• 性能を損なわずに、データの低ランク基底に変換を制限することで、高次元特徴空間へのスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 LogDet散発のような凸損失関数を用いて、高次元特徴空間における入力データの線形変換を効率的に学習できるか？
• RQ2 線形変換学習プロセスのカーネル化により、従来のトランスダクティブなカーネル学習手法の制限を超えて、未知データポイントへの一般化が可能になるか？
• RQ3 提案フレームワークをLogDetを超える他の凸損失関数へ拡張可能か？また、効率的なカーネル化を保証する条件は何か？
• RQ4 実世界の応用、特にコンピュータビジョンおよびテキスト分類において、学習されたメトリックまたはカーネルの性能は、ベースライン手法と比べてどの程度優れているか？
• RQ5 本手法は、大規模データセットへどの程度スケーリング可能であり、高い精度と未知データに対する効率的な推論を維持できるか？

主な発見

• 提案されたLogDetベースの線形変換手法は、$ T=30 $ の条件下でTRECデータセットにおいて62.1%の1-NN分類精度を達成し、ベースラインカーネルを著しく上回った。
• 学習されたSUMカーネルは、$ T=15 $ の条件下でTRECデータセットにおいて73.7%の精度を達成し、1-NNおよびSVM分類器を用いた場合、標準カーネル関数よりも優れた性能を示した。
• Classic3テキストデータセットでは、標準ユークリッド距離および顕著な意味的分析（LSA）を上回った。特に、基底次元が増加するにつれて顕著な性能向上が観察された。
• 20-Newsgroupsデータセットでは、全テスト基底サイズにおいてベースライン手法を上回る分類精度を達成し、基底次元が増加するにつれて一貫した性能向上が得られた。
• 代表的な定理に類する結果を用いた線形変換のカーネル化により、トランスダクティブなカーネル学習手法とは異なり、未観測データへの一般化が効果的に実現された。
• 最適化アルゴリズムにより、数百万のデータオブジェクトを含む大規模データセットにも効率的に対応でき、スケーラビリティが確認された。