[論文レビュー] Dual Encoding for Zero-Example Video Retrieval

Jianfeng Dong, Xirong Li+5 more|arXiv (Cornell University)|Sep 17, 2018

Multimodal Machine Learning Applications参考文献 36被引用数 7

ひとこと要約

本論文は、共通のアーキテクチャを用いて、ビデオと自然言語クエリの両方に対して独立して深く階層的な表現を学習する概念フリーなデュアルエンコーディングフレームワークを提案する。これにより、エンドツーエンドのクロスマodalマッチングが可能になる。階層的レベルにおいて、平均プーリング、双方向GRU、1次元畳み込みニューラルネットワーク（1D-CNN）をスキップ接続を介して組み合わせることで、MSR-VTT、TRECVID 2016/2017、MSVDで最先端の性能を達成し、事前学習済みの概念や単一エンコーディングに依存する従来手法を上回る、ゼロ例ビデオ検索性能を発揮する。

ABSTRACT

This paper attacks the challenging problem of zero-example video retrieval. In such a retrieval paradigm, an end user searches for unlabeled videos by ad-hoc queries described in natural language text with no visual example provided. Given videos as sequences of frames and queries as sequences of words, an effective sequence-to-sequence cross-modal matching is required. The majority of existing methods are concept based, extracting relevant concepts from queries and videos and accordingly establishing associations between the two modalities. In contrast, this paper takes a concept-free approach, proposing a dual deep encoding network that encodes videos and queries into powerful dense representations of their own. Dual encoding is conceptually simple, practically effective and end-to-end. As experiments on three benchmarks, i.e. MSR-VTT, TRECVID 2016 and 2017 Ad-hoc Video Search show, the proposed solution establishes a new state-of-the-art for zero-example video retrieval.

研究の動機と目的

• ユーザーが視覚的例を提示せずに自然言語クエリを用いてラベルのないビデオを検索する、ゼロ例ビデオ検索の課題に対処すること。
• 事前に定義された検出可能な概念に依存する概念ベース手法の限界を克服すること。これらの手法は、概念選択や分類器の学習に課題を抱える。
• 概念フリーでエンドツーエンドのフレームワークを構築し、生のビデオフレームとテキストシーケンスから直接強力な共有意味的表現を学習すること。
• スキップ接続を用いたマルチレベルエンコーディングにより、階層的で補完的な特徴を学習することで、クロスマodalマッチングを向上させること。
• MSR-VTT、TRECVID Ad-hoc Video Search、MSVD といった多様なベンチマークで、デュアルエンコーディングの有効性を実証すること。

提案手法

• 本手法は、同一のマルチレベルエンコーディングブロックを用いて、ビデオとクエリを並列に処理するデュアルディープエンコーディングネットワークを採用する。
• 各入力は3つの並列ストリームを通じてエンコードされる：フレーム特徴の平均プーリング、双方向GRU（biGRU）、およびbiGRUに続く1次元畳み込みネットワーク（biGRU-CNN）。
• スキップ接続を用いて、異なるレベルからの特徴を統合することで、高レベル表現が段階的に低レベルの詳細を統合できる。
• 各レベルにおける3つのエンコーディングストリームの出力を連結することで、各モodal用に豊富で階層的な特徴ベクトルが形成される。
• これらのモダリティ固有の表現は、類似度計算のための共有埋め込み空間にVSE++を用いて投影される。
• モデル全体がエンドツーエンドで学習可能であり、ビデオの事前エンコーディングと、アドホッククエリへのリアルタイム応答が可能になる。

実験結果

リサーチクエスチョン

• RQ1 概念フリーでエンドツーエンドのディープエンコーディングフレームワークは、ゼロ例ビデオ検索において概念ベース手法を上回ることができるか？
• RQ2 スキップ接続を用いたマルチレベルエンコーディングは、ビデオおよびテキストにおけるグローバル、ローカル、時間的パターンを効果的に捉えられるか？
• RQ3 提案されたデュアルエンコーディングは、MSR-VTT、TRECVID 2016/2017、MSVD といった多様なベンチマークで性能を向上させるか？
• RQ4 デュアルフレームワークにおいて、ビデオ側のエンコーディングはテキスト側のエンコーディングに比べてどの程度寄与しているか？
• RQ5 提案されたエンコーディングモジュールは、VSE++のような既存の共通埋め込み学習モデルに効果的に統合可能か？

主な発見

• MSR-VTTベンチマークでは、提案されたデュアルエンコーディング手法が平均平均精度（mAP）0.232を達成し、従来の最先端手法を上回った。
• TRECVID 2016および2017年のアドホックビデオ検索タスクでは、新しい最先端性能を確立し、複雑で現実世界のクエリに対する優れた一般化性能を示した。
• MSVDデータセットでは、mAPが0.232に達し、クロスデータセット評価の場面でも強力な性能を示した。
• MPII-MDデータセットでは、mAPが0.037に達し、比較対象の全モデルの中で最高を記録し、映画の説明抽出の有効性を示した。
• Flickr30KおよびMSCOCOにおける画像・テキスト検索にVSE++に統合した場合、マルチレベルテキストエンコーディングにより、Flickr30KではR@1が1.6%、R@10が4.4%向上し、MSCOCOではR@1が1.1%、R@10が1.6%向上した。
• 検索システムはリアルタイム性能を達成しており、標準的なハードウェア上で335,944本のビデオを含むデータセットに対して、1クエリあたり約0.14秒で処理可能であった。