[論文レビュー] Kernelized Multiview Projection

Mengyang Yu, Li Liu+1 more|arXiv (Cornell University)|Aug 3, 2015

Advanced Image and Video Retrieval Techniques参考文献 23被引用数 5

ひとこと要約

本稿では、再帰的核ヒルバート空間（RKHS）内でのカーネル行列を用いた異種特徴ビューの統合により、線形の外挿拡張が可能で、低次元で滑らかで判別性の高い部分空間を学習する非教師ありスペクトル埋め込み手法であるKernelized Multiview Projection（KMP）を提案する。KMPは、CMU PIE、CIFAR10、SUN397で最先端の性能を達成し、高速な推論とノイズに強い性能を示す。

ABSTRACT

Conventional vision algorithms adopt a single type of feature or a simple concatenation of multiple features, which is always represented in a high-dimensional space. In this paper, we propose a novel unsupervised spectral embedding algorithm called Kernelized Multiview Projection (KMP) to better fuse and embed different feature representations. Computing the kernel matrices from different features/views, KMP can encode them with the corresponding weights to achieve a low-dimensional and semantically meaningful subspace where the distribution of each view is sufficiently smooth and discriminative. More crucially, KMP is linear for the reproducing kernel Hilbert space (RKHS) and solves the out-of-sample problem, which allows it to be competent for various practical applications. Extensive experiments on three popular image datasets demonstrate the effectiveness of our multiview embedding algorithm.

研究の動機と目的

• 高次元空間における単一視点または連結特徴表現の限界を解消すること。これには、意味的意味が乏しく、スケーラビリティに欠けるという問題が含まれる。
• 非線形多視点埋め込み手法における外挿問題を克服すること。これにより、実世界のスケールの大きなビジョン応用への利用が制限されないようになる。
• 局所性および複数の異種特徴ビューの分布的特性を保ちながら、低次元で意味的意味のある部分空間を学習すること。
• カーネルベースの学習により、色、テクスチャ、形状などの異なる特徴タイプ間の補完的情報を効果的に統合すること。
• 訓練が効率的で、推論が極めて高速であるため、実用的導入に適した手法を開発すること。

提案手法

• KMPは、ラジアル基底関数（RBF）カーネルを用いて複数の特徴ビューからカーネル行列を構築し、各ビューをスケーリングと次元正規化を施した高次元の再帰的核ヒルバート空間（RKHS）にマッピングする。
• スパースでノイズに強い類似度行列を計算するためにℓ¹グラフを採用し、各データポイントの自然な近傍を自動で同定する。
• すべてのビューにわたる局所性と滑らかさを保持する正則化された目的関数を最小化することで、共通の低次元埋め込み空間を共同で最適化する。
• KMPは各カーネル行列に対してビュー固有の重みを学習し、複数のカーネル学習（MKL）に類似した補完的情報を適応的に統合する。ただし、射影に基づくフレームワーク内で実行される。
• 最終的な埋め込みは、低次元空間における線形射影により計算され、これにより新しいテストサンプルへの直接適用が可能になり（外挿問題の解決）、実用的応用に適する。
• 最適化は一般化固有値問題として定式化され、標準的な数値的手法を用いて効率的に解ける。

実験結果

リサーチクエスチョン

• RQ1 異種特徴（例：色、テクスチャ、形状）を効果的に統合しつつ、それらの内在的統計的特性と局所性を保持できる多視点埋め込み手法は可能か？
• RQ2 非線形多視点埋め込み手法をRKHS内で線形化することで、効率的な外挿拡張を実現できるか？
• RQ3 従来のグラフベース手法と比較して、ℓ¹グラフは類似度行列のノイズ耐性およびスパarsityに優れているか？
• RQ4 提案されたKMP手法は、既存の多視点埋め込み手法（例：DSE、MSE、m-SNE）と比較して、精度および推論速度の面で優れた性能を発揮できるか？
• RQ5 正則化パラメータεおよびグラフサイズGといったハイパーパrameterが、KMPの性能および一般化能力に与える影響はいかほどか？

主な発見

• CMU PIEデータセットにおいて、KMPは次元80で99.7%のテスト精度を達成し、全テスト次元でDSE、MSE、MKLを上回る性能を示した。
• CIFAR10データセットでは、次元80で98.6%の精度に達し、d=80でピークに達し、高次元設定でも安定した性能を示した。
• SUN397データセットでは、次元80で98.7%の精度を達成し、多様で複雑な画像カテゴリにわたる強力な一般化能力を示した。
• KMPは推論時間において顕著な優位性を示した。1サンプルあたりのコード化/クエリ時間は0.032〜0.041秒であり、DSEやMSEは1回の新しいサンプルに対して再訓練を要するため、1000秒以上を要した。
• ハイパーパrameterの変動に対して頑健であり、εおよびGが増加するに従い、性能がピークに達した後、低下する傾向を示し、一般化の最適範囲があることを示した。
• パラメータ感度分析の結果、より高い次元の埋め込みでは、ℓ¹グラフにおける近傍数rの値を大きくすることで性能が向上することが確認され、適応的近傍選択の必要性が裏付けられた。