[論文レビュー] Sparse Transfer Learning for Interactive Video Search Reranking

Xinmei Tian, Dacheng Tao+1 more|arXiv (Cornell University)|Mar 14, 2011

Advanced Image and Video Retrieval Techniques参考文献 43被引用数 35

ひとこと要約

本論文は、ユーザーがラベル付けしたフィードバックを符号化することで意味的ギャップを埋める、インタラクティブな動画検索の再ランク付けのための次元削減手法として、スパース転送学習（STL）を提案する。ペアワイズの判別学習、スパarsityを確保するためのエラスティックネット正則化、およびデータ分布の伝搬を活用することで、TRECVID 2005–2007ベンチマークにおいて従来手法を上回る性能を示し、有効なユーザーのフィードバック統合により優れた再ランク付け性能を実現している。

ABSTRACT

Visual reranking is effective to improve the performance of the text-based video search. However, existing reranking algorithms can only achieve limited improvement because of the well-known semantic gap between low level visual features and high level semantic concepts. In this paper, we adopt interactive video search reranking to bridge the semantic gap by introducing user's labeling effort. We propose a novel dimension reduction tool, termed sparse transfer learning (STL), to effectively and efficiently encode user's labeling information. STL is particularly designed for interactive video search reranking. Technically, it a) considers the pair-wise discriminative information to maximally separate labeled query relevant samples from labeled query irrelevant ones, b) achieves a sparse representation for the subspace to encodes user's intention by applying the elastic net penalty, and c) propagates user's labeling information from labeled samples to unlabeled samples by using the data distribution knowledge. We conducted extensive experiments on the TRECVID 2005, 2006 and 2007 benchmark datasets and compared STL with popular dimension reduction algorithms. We report superior performance by using the proposed STL based interactive video search reranking.

研究の動機と目的

• テキストベースの動画検索における低次元の視覚的特徴と高次元の意味的コンセプトの間の意味的ギャップを解消すること。
• インタラクティブ検索環境におけるユーザーのインタラクションフィードバックを効果的に統合することで、再ランク付けの性能を向上させること。
• ユーザーの意図を符号化しつつ、スパarsityと判別力を維持する次元削減技術を開発すること。
• データ分布の知識を用いて、ラベル付きのサンプルからラベルなしのサンプルへユーザーのラベル情報を伝搬すること。
• インタラクティブな動画検索再ランク付けタスクにおいて、従来の次元削減手法を上回ること。

提案手法

• STLは、ペアワイズの判別学習を用いて、ラベル付きの関連あり・関連なしの動画サンプル間の分離を最大化する次元削減モデルを定式化する。
• スパース性を確保するためのエラスティックネットペナルティを導入することで、ユーザーの意図を表現するコンactかつ解釈可能な表現を実現する。
• 潜在的なデータ分布をモデル化することで、ラベル付きのユーザーのフィードバックをラベルなしのサンプルへ伝搬する。
• 関連あり・関連なしの動画間の判別的構造を保持する低次元部分空間に、ユーザーのラベル付きフィードバックを統合する。
• 転送学習の原則とスパースコーディングを組み合わせることで、動画の関連性推定を段階的に改善する。
• 最終的な再ランク付けは、ユーザーのフィードバックが効果的に符号化された変換された特徴空間を用いて実行する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーがラベル付けしたフィードバックを、効果的に低次元部分空間に符号化することで、動画の再ランク付け性能を向上させることができるか？
• RQ2 動画検索の文脈における転送学習フレームワークにおいて、スパarsityと判別力を同時に最適化する方法は何か？
• RQ3 データ分布の知識を統合することで、ユーザーのフィードバックがラベルなしの動画へどの程度効果的に伝搬されるか？
• RQ4 提案されたSTL手法は、標準的な次元削減手法を、インタラクティブな動画検索再ランク付けタスクで上回るか？
• RQ5 TRECVID 2005–2007のような多様な動画検索ベンチマークにおいて、本手法はどの程度のロバストネスを示すか？

主な発見

• 提案されたSTL手法は、ベースラインの次元削減アルゴリズムと比較して、TRECVID 2005、2006、2007のベンチマークデータセットで優れた性能を達成した。
• 効果的なフィードバック符号化により、低次元の視覚的特徴と高次元のユーザーの意図との間の意味的ギャップが顕著に縮小された。
• エラスティックネット正則化の統合により、解釈性と効率性を向上させるスパース部分空間表現が得られた。
• データ分布の知識を用いたユーザーのフィードバックの伝搬により、ラベルなしの動画への関連性推定の一般化性能が向上した。
• TRECVIDの複数年の評価において、再ランク付けの有効性が一貫して向上した。
• 結果から、STLを経由して処理されたインタラクティブなフィードバックは、より正確で関連性の高い動画検索結果をもたらすことが確認された。