[論文レビュー] Learning Multi-modal Similarity

Brian McFee, Gert Lanckriet|arXiv (Cornell University)|Aug 30, 2010

Video Analysis and Summarization参考文献 45被引用数 117

ひとこと要約

本論文は、ヒューマンが提供する相対的比較（例：'x は y より z より似ているか？'）を用いて、音声、視覚、テキスト特徴量などの異種マルチモodalデータを統合する複数カーネル学習フレームワークを提案する。相対的比較制約の順序付けのためのヒンジロス補助関数を用いた凸最適化問題として定式化することで、一貫性のない知覚的類似度測定を最小限に抑える、外挿にも対応可能な堅牢な埋め込みを学習する。新規データに対する類似度計算も効率的に行える。

ABSTRACT

In many applications involving multi-media data, the definition of similarity between items is integral to several key tasks, e.g., nearest-neighbor retrieval, classification, and recommendation. Data in such regimes typically exhibits multiple modalities, such as acoustic and visual content of video. Integrating such heterogeneous data to form a holistic similarity space is therefore a key challenge to be overcome in many real-world applications. We present a novel multiple kernel learning technique for integrating heterogeneous data into a single, unified similarity space. Our algorithm learns an optimal ensemble of kernel transfor- mations which conform to measurements of human perceptual similarity, as expressed by relative comparisons. To cope with the ubiquitous problems of subjectivity and inconsistency in multi- media similarity, we develop graph-based techniques to filter similarity measurements, resulting in a simplified and robust training procedure.

研究の動機と目的

• 異種マルチモーダルデータ（例：音声、視覚、テキスト）を、単一で整合的かつ包括的な類似度空間に統合する課題に対処すること。
• ヒューマンが提供する知覚的類似度判断における主観性や不一致に対して頑健な学習フレームワークを開発すること。
• 未学習のデータポイント（新規データ）に対しても、類似度計算を外挿可能にすること。
• 二値または定量的類似度ラベルではなく、相対的比較制約を用いて類似度埋め込みを最適化すること。
• 各モダリティ固有の表現を最適に融合できる複数カーネル学習を支援すること。

提案手法

• 相対的比較（'x は y より z より似ているか？'）を側情報として用いて、類似度学習問題を定式化する。
• 違反された相対的比較制約の上でのヒンジロス補助関数を最小化する凸最適化問題として学習タスクをモデル化する。
• 複数カーネル学習（MKL）を用いてモダリティ固有のカーネルを結合し、勾配降下法により共有のマハラノビス距離行列を学習する。
• 各最適化ステップ後に、学習されたカーネル行列に正定値（PSD）制約を強制するためにスペクトル射影を適用する。
• トレーニングの前処理として、グラフベースのフィルタリングを用いて、ノイズが多いまたは一貫性のない類似度測定を除去する。
• パラメトリックな埋め込みを学習することで、同じメトリックを用いて新規データポイントへの距離計算が可能になるため、外挿への対応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一のモダリティが類似度の測定において一貫性や完全性を欠く場合、マルチモーダルデータをどのように最適に統一された類似度空間に統合できるか？
• RQ2 二値または定量的類似度ラベルよりも、相対的比較（'x は y より z より似ているか？'）が、より頑健で一貫性のある側情報として機能できるか？
• RQ3 知覚的類似度におけるラベル間の差異や不一致なヒューマン判断に対して、学習アルゴリズムをどのようにして頑健にできるか？
• RQ4 どのような最適化フレームワークが、異種モダリティの有効な統合と外挿可能な類似度計算の両方を可能にするか？
• RQ5 提案手法は、ベースラインのメトリック学習手法と比較して、類似度検索およびランク付け性能をどの程度向上させるか？

主な発見

• 相対的比較データを効果的に活用することで、本手法は二値または定量的類似度ラベルよりも頑健な性質を持つため、類似度検索およびランク付けタスクで優れた性能を達成する。
• 凸最適化のヒンジロス補助関数を用いることで、与えられた制約のもとでグローバル最適解への収束が保証され、効率的な最適化が可能になる。
• 類似度測定のグラフベースのフィルタリングは、不一致やノイズのある比較を除去することで、トレーニングの頑健性を顕著に向上させる。
• 本手法は外挿への対応をサポートしており、モデル全体を再トレーニングせずに、新規データポイントの類似度計算が可能になる。
• 複数カーネル学習の定式化により、異種モダリティの最適な統合が可能となり、各モダリティが最終的な類似度空間に割合に応じて寄与する。
• 性能指標として一般化AUC（GAUC）スコアが用いられ、本手法は高いGAUC値を達成しており、ヒューマンの知覚的類似度判断と強い一致を示している。