[論文レビュー] Exemplar-Centered Supervised Shallow Parametric Data Embedding

Martin Renqiang Min, Hongyu Guo+1 more|arXiv (Cornell University)|Feb 21, 2017

Face and Expression Recognition参考文献 15被引用数 8

ひとこと要約

本稿では、ペairワイズ比較の代わりにエクземプラールを使用して線形埋め込み関数を学習する教師あり浅層的パラメトリックモデルであるエクземプラール中心型高次パラメトリック埋め込み（en-HOPE）を提案する。これにより計算量が線形に抑えられ、MNIST上でkNN分類を最大463倍高速化するとともに、ベンチマークデータセットにおいてdt-MCMLなどの最先端手法を速度および精度の両面で上回る。

ABSTRACT

Metric learning methods for dimensionality reduction in combination with k-Nearest Neighbors (kNN) have been extensively deployed in many classification, data embedding, and information retrieval applications. However, most of these approaches involve pairwise training data comparisons, and thus have quadratic computational complexity with respect to the size of training set, preventing them from scaling to fairly big datasets. Moreover, during testing, comparing test data against all the training data points is also expensive in terms of both computational cost and resources required. Furthermore, previous metrics are either too constrained or too expressive to be well learned. To effectively solve these issues, we present an exemplar-centered supervised shallow parametric data embedding model, using a Maximally Collapsing Metric Learning (MCML) objective. Our strategy learns a shallow high-order parametric embedding function and compares training/test data only with learned or precomputed exemplars, resulting in a cost function with linear computational complexity for both training and testing. We also empirically demonstrate, using several benchmark datasets, that for classification in two-dimensional embedding space, our approach not only gains speedup of kNN by hundreds of times, but also outperforms state-of-the-art supervised embedding approaches.

研究の動機と目的

• ペアワイズ学習比較に依存する伝統的なメトリクス学習手法が有する2次計算量の問題を解決すること。
• すべての訓練データではなく、学習または事前計算されたエクземプラールの小さな集合に限ってkNN比較を行うことで、テストコストを低減すること。
• 次元削減とサンプル圧縮を統合した、スケーラブルで高速かつ高精度な埋め込み手法を開発すること。
• 浅層的パラメトリックモデルが、標準ベンチマーク上でのdt-MCMLのような深層学習ベース手法を、速度および性能の両面で上回れることを示すこと。

提案手法

• 高次パラメトリック埋め込み関数を学習するため、最大限に収縮するメトリクス学習（MCML）の目的関数を用いる。この関数はデータを低次元空間に写像する。
• ペアワイズ学習比較の代わりに、共同で学習された少数のエクземプラールとの比較を採用することで、訓練の計算量を線形に削減する。
• 推論段階では、テストサンプルがこれらのエクземプラールとのみ比較されるため、最小限の計算コストで高速なkNN分類が可能になる。
• エクземプラールは訓練中に学習されるか、訓練データに対して教師ありk-meansクラスタリングを用いて事前計算される。
• 埋め込み空間におけるクラス内およびクラス間の類似度をモデル化するためにスルーディントのt分布を用いる。
• クラス内収縮とクラス間分離を促進する損失関数を勾配降下法で最適化することで、埋め込み関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 浅層的パラメトリックモデルは、dt-MCMLのような深層学習ベースの手法を、分類精度および速度の両面で上回れるか？
• RQ2 エクземプラールベースの比較により、性能を維持しつつ、訓練およびテストの両方の計算量を2次から線形に削減できるか？
• RQ3 k-meansの重心から得た事前計算されたエクzemプラールを用いることで、学習されたエクzemプラールと同等の結果が得られるか？
• RQ4 2次元空間で効果的なクラス内収縮を達成できるか、かつ高精度な分類性能を維持できるか？

主な発見

• en-HOPEはMNISTデータセットにおいて、標準kNNと比較して463倍の高速化を達成し、分類時間を124.97秒から0.24秒に短縮した。
• MNISTにおいて20個の学習済みエクzemプラールを用いたen-HOPEは、2次元空間で2.66%のテスト誤差率を達成し、標準kNN（3.05%）およびSNC（6.31%）を上回った。
• 20個のエクzemプラールを用いた場合、2次元から10次元に埋め込みを拡張することで誤差率が2.66%から2.31%に低下し、次元削減の利点が明らかになった。
• MNISTにおいてen-HOPEはdt-MCMLよりも316倍の高速化を達成しながら、優れた精度を維持しており、埋め込み計算でも2倍の速度優位性を示した。
• 10個の学習済みエクzemプラールのみを用いても、en-HOPEはMNISTで2.66%の誤差率を達成し、エクzemプラール数の変動に強く、ロバストであることが示された。
• k-meansの重心から得た事前計算されたエクzemプラールは、競争力のある結果を示し、SNCが圧縮に特化しているにもかかわらず、en-HOPEは速度および精度の両面でSNCを大きく上回った。