[論文レビュー] Dual Dense Encoding for Zero-Example Video Retrieval.

Jianfeng Dong, Xirong Li+3 more|arXiv (Cornell University)|Sep 17, 2018

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

この論文は、中間的コンセプトに依存せずに、直接シーケンス対シーケンスのクロスマodalマッチングをモデル化することで、3つのベンチマーク（MSR-VTT、TRECVID 2016、2017）においてゼロ例動画検索で最先端の性能を達成する、コンセプトフリーなデュアル・ディンス・エンコーディングネットワークを提案している。このネットワークは、動画と自然言語クエリの両方の強力でエンドツーエンドなディンス表現を学習する。

ABSTRACT

This paper attacks the challenging problem of zero-example video retrieval. In such a retrieval paradigm, an end user searches for unlabeled videos by ad-hoc queries described in natural language text with no visual example provided. Given videos as sequences of frames and queries as sequences of words, an effective sequence-to-sequence cross-modal matching is required. The majority of existing methods are concept based, extracting relevant concepts from queries and videos and accordingly establishing associations between the two modalities. In contrast, this paper takes a concept-free approach, proposing a dual deep encoding network that encodes videos and queries into powerful dense representations of their own. Dual encoding is conceptually simple, practically effective and end-to-end. As experiments on three benchmarks, i.e. MSR-VTT, TRECVID 2016 and 2017 Ad-hoc Video Search show, the proposed solution establishes a new state-of-the-art for zero-example video retrieval.

研究の動機と目的

• ユーザーが視覚的例を提供せずに、自然言語クエリのみでラベルのない動画を検索する、ゼロ例動画検索の課題に対処すること。
• 視覚的または文語的コンセプトを中間段階として用いることでクロスマodal整合性を図る概念ベース手法の限界を克服すること。
• 動画フレームとテキストクエリを直接、ディンスで意味的に豊かな表現にエンコードする、シンプルで効果的なエンドツーエンドフレームワークを開発すること。
• 複数の標準ベンチマークでゼロ例動画検索の新しい最先端水準を確立すること。

提案手法

• 動画フレームとテキストクエリを別々のニューラルエンコーダーを用いて、独立してディンスベクトル表現にエンコードするデュアルディープエンコーディングネットワークを提案する。
• 中間のコンセプト検出に依存せずに、動画とクエリのディンス埋め込みを直接比較する、シーケンス対シーケンスのクロスマodalマッチング機構を採用する。
• 対照学習または類似の目的関数に基づき、動画とクエリの埋め込み間の整合性を最適化するエンドツーエンドの学習を実施する。
• アテンション機構とトランスフォーマーに基づくアーキテクチャを活用して、動画およびテキストシーケンスにおける長距離依存関係をモデル化する。
• 動画とクエリの埋め込み空間間の意味的整合性を保つために、共有のプロジェクションヘッドまたは正規化戦略を適用する。
• 対照損失を用いて学習を行い、一致する動画-クエリペア間の類似度を最大化し、一致しないペア間の類似度を最小化する。

実験結果

リサーチクエスチョン

• RQ1 コンセプトフリーなアプローチは、コンセプトベース手法を上回る性能を示せるか？
• RQ2 エンドツーエンドのデュアル・ディンス・エンコーディングは、動画と自然言語クエリの意味的に整合された表現を学習するのに効果的か？
• RQ3 提案手法は、MSR-VTT や TRECVID 2016/2017 のような多様なベンチマークに一般化可能か？
• RQ4 中間のコンセプト抽出を削除することで、検索性能とモデルの単純さにどのような影響があるか？

主な発見

• 提案されたデュアル・ディンス・エンコーディングモデルは、ゼロ例動画検索において MSR-VTT ベンチマークで新しい最先端の性能を達成した。
• 中間の視覚的または文語的コンセプトに依存せずに、直接クロスマodalマッチングをモデル化することで、従来のコンセプトベース手法を上回った。
• TRECVID 2016 および 2017 のアドホック動画検索ベンチマークでも強力な結果を達成し、データセット間での高い一般化能力を示した。
• アブレーションスタディにより、コンセプトフリーな設計が性能向上とモデルの単純さに寄与することが確認された。