[論文レビュー] Multi-view Metric Learning in Vector-valued Kernel Spaces

Riikka Huusari, Hachem Kadri+1 more|arXiv (Cornell University)|Mar 21, 2018

Face and Expression Recognition参考文献 4被引用数 5

ひとこと要約

本稿では、視覚内および視覚間のデータ関係を捉えるために、ベクトル値カーネル空間とブロック構造を持つメトリクスを同時に学習する、新しいマルチビュー特徴量学習フレームワークを提案する。凸最適化問題を定式化し、ブロックワイドなニストルム近似を用いることで、大規模データセットに対しても効率的にスケーリング可能であり、実世界のマルチビュー分類および回帰タスクで最先端の性能を達成している。スパース解は視覚の重要性を明らかにする。

ABSTRACT

We consider the problem of metric learning for multi-view data and present a novel method for learning within-view as well as between-view metrics in vector-valued kernel spaces, as a way to capture multi-modal structure of the data. We formulate two convex optimization problems to jointly learn the metric and the classifier or regressor in kernel feature spaces. An iterative three-step multi-view metric learning algorithm is derived from the optimization problems. In order to scale the computation to large training sets, a block-wise Nystr{ö}m approximation of the multi-view kernel matrix is introduced. We justify our approach theoretically and experimentally, and show its performance on real-world datasets against relevant state-of-the-art methods.

研究の動機と目的

• マルチビュー特徴量学習において、視覚内および視覚間の依存関係を捉える有効なメトリクスを学習する課題に対処すること。
• 大規模な設定において行列値カーネル手法の高い計算コストを克服すること。
• ベクトル値再生核ヒルベルト空間（RKHS）において、分類器／回帰器と構造化されたメトリクスを同時に学習すること。
• ブロックワイドなニストルム近似を用いたスケーラブルなアルゴリズムの開発により、効率的なカーネル計算を実現すること。
• ラデマッハバウンドによる理論的裏付けと、実世界のデータセットにおける実験的検証の提供。

提案手法

• RKHSにおいて、ベクトル値関数とブロック構造を持つメトリクスを同時に学習する2つの凸最適化問題を定式化する。
• 最適化問題を解くための反復的3ステップアルゴリズムを導出する。このアルゴリズムは、メトリクスと関数の更新を交互に繰り返す。
• 大規模なマルチビュー・カーネル行列の構築と逆行列計算の計算コストを低減するため、ブロックワイドなニストルム近似を導入する。
• 視覚内および視覚間の類似性を符号化する行列値カーネルを採用し、マルチモーダルデータの柔軟なモデリングを可能にする。
• トレーニングポイントにおけるカーネル関数の評価の線形結合として解を表現するためのレプresenter定理を適用する。
• 多値分類問題には1対すべて分類を、正則化パrameterチューニングには交差検証を用いる。

実験結果

リサーチクエスチョン

• RQ1 ベクトル値カーネル空間において、統合されたフレームワークがマルチビュー特徴量学習と意思決定関数を同時に学習可能か？
• RQ2 行列値カーネル手法の高い計算コストを性能を損なわず低減する方法は何か？
• RQ3 ニストルム近似はマルチビュー特徴量学習の一般化性能と効率性にどのような影響を与えるか？
• RQ4 学習されたメトリクス行列は、意味的な視覚間相互作用と相対的重要性を明らかにできるか？
• RQ5 一般化バウンドのような理論的保証は、提案手法に対して確立可能か？

主な発見

• ロボット操作データセットにおいて、MVMLsparse法は2000件のトレーニングサンプルと8%のニストルム近似を用いて、0.3915の最低誤差率を達成した。
• Flower17データセットでは、すべての近似レベルでSVM、OKL、MLKRを上回る性能を示し、12%のニストルム近似で最高の正答率を記録した。
• ブロックワイドなニストルム近似は、特に低近似レベルで、計算コストを顕著に低減しながらも、競争力のある性能を維持した。
• MVMLsparseから得られたメトリクス行列は高いスパarsityを示し、本手法が重要な視覚およびそれらの相互作用を特定できることを示している。
• ラデマッハバウンドによる一般化解析は、提案アルゴリズムの理論的整合性を支持している。
• 本手法は近似レベルに対して頑健であり、たとえ低サンプリングレート（例：データの1–10%）であっても、性能向上が観察された。