[論文レビュー] Similarity Learning for High-Dimensional Sparse Data

Kuan Liu, Aurélien Bellet+1 more|arXiv (Cornell University)|Nov 10, 2014

Face and Expression Recognition参考文献 30被引用数 22

ひとこと要約

本稿では、高次元スパースデータ向けの新規類似度学習手法HD-SLを提案する。類似度はランク1行列のスパースな凸結合としてモデル化され、近似フランク＝ウォルフ法を用いて反復的に特徴量ペアを追加する。極めてスパース（0.0001%非ゼロ要素）な性能を達成し、次元削減を伴わずに高速かつ解釈可能で頑健な類似度計算が可能であり、従来の対角行列およびフル行列学習ベースラインを上回る性能を発揮する。

ABSTRACT

A good measure of similarity between data points is crucial to many tasks in machine learning. Similarity and metric learning methods learn such measures automatically from data, but they do not scale well respect to the dimensionality of the data. In this paper, we propose a method that can learn efficiently similarity measure from high-dimensional sparse data. The core idea is to parameterize the similarity measure as a convex combination of rank-one matrices with specific sparsity structures. The parameters are then optimized with an approximate Frank-Wolfe procedure to maximally satisfy relative similarity constraints on the training data. Our algorithm greedily incorporates one pair of features at a time into the similarity measure, providing an efficient way to control the number of active features and thus reduce overfitting. It enjoys very appealing convergence guarantees and its time and memory complexity depends on the sparsity of the data instead of the dimension of the feature space. Our experiments on real-world high-dimensional datasets demonstrate its potential for classification, dimensionality reduction and data exploration.

研究の動機と目的

• 高次元スパースデータにおける有効な類似度測度の学習という課題に取り組むこと。標準的なメトリック学習手法は計算コストと過学習のため、この分野では失敗する。
• 次元削減を回避しながら、スパースかつ高次元データの類似度学習においてスケーラビリティと解釈可能性を維持すること。
• 元の特徴量空間で直接、スパースで双線形の類似度関数を学習する手法を開発すること。関連する特徴量ペアに焦点を当てる。
• データのスパarsityを活用し、特徴量次元に依存しない、収束保証と効率的な計算を実現すること。
• 分類および次元削減タスクにおいて、解釈可能な特徴量相互作用の発見と頑健な性能を実現すること。

提案手法

• 類似度行列Mを、各々が特徴量ペアに対応するランク1行列の凸結合としてパrameterizeする。各行列には特定のスパース構造を組み込む。
• 特徴量ペアを1つずつグリーディに選択し、類似度関数に組み込むために近似フランク＝ウォルフ法を用いる。
• 訓練データ上で相対的類似度制約（例：xはyよりzよりも類似している）を満たすように類似度パラメータを最適化する。
• 早期停止を用いて過学習を制御し、有効な特徴量ペアの数を自然に制限する。
• 時間およびメモリの複雑性が、全次元dに依存せず、データのスパarsityに依存することを保証する。
• Mの低ランクかつスパース構造を活用し、高速な類似度計算と特徴量相互作用の解釈可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 次元削減に依存せず、高次元スパースデータに効率的にスケーリング可能な類似度学習手法を設計できるか？
• RQ2 元の特徴量空間で双線形類似度関数を学習しつつ、計算およびメモリ効率を維持できるか？
• RQ3 学習された類似度行列に極めてスパースな構造（極めて少ない非ゼロ要素）を実現できれば、解釈可能性と高速な推論が可能になるか？
• RQ4 グリーディなフランク＝ウォルフに基づく特徴量ペア選択は、フル行列または対角行列学習と比較して、より優れた一般化性能と頑健性を示すか？
• RQ5 学習された類似度関数は、射影なしで分類や次元削減といった下流タスクをどの程度サポートできるか？

主な発見

• HD-SLは、dexter、dorothea、rcv1といった実世界の高次元データセットにおいて、次元削減空間での対角学習およびフル行列学習を上回る最先端の分類精度を達成する。
• 学習された類似度行列は極めてスパースであり、非ゼロ要素が全体の0.0001%にとどまる。これにより、高速な計算と特徴量相互作用の解釈可能性が可能になる。
• HD-SLは、dexter や rcv1_4 といったノイズの多いデータセットに対しても過学習を示さず、安定した解に収束する。一方、PCA+OASISは過学習の兆候を示す。
• 次元削減の文脈では、HD-SLはPCAやランダム射影と同等またはそれ以上の性能を発揮し、特にノイズが多い環境下でも頑健性を維持する。また、射影次元が増加しても安定性を保つ。
• HD-SLは、対角-ℓ₁手法と比較して、はるかに少ない特徴量を用いる。これは、非対角のペアワイズ相互作用により、より優れたモデリング能力を有することを示している。
• 時間およびメモリの複雑性が特徴量次元ではなく、データのスパarsityに依存するため、最大100,000特徴量を持つデータセットに対しても実用的である。