[論文レビュー] Where to Play: Retrieval of Video Segments using Natural-Language Queries

Sangkuk Lee, Daesik Kim+3 more|arXiv (Cornell University)|Jul 2, 2017

Multimodal Machine Learning Applications参考文献 4被引用数 4

ひとこと要約

本論文は、DenseCapモデルを用いて動画フレームから自然言語記述を生成する密度付きキャプションによる手法を提案し、フレーム間で意味的に類似したキャプションを追跡することで、照合クエリに一致するセグメントを特定する動画検索手法を提示する。この手法は「キャプションによるトラッキング」と呼ばれる。従来のコンセプトベース手法に比べ、ニューラル言語生成を用いて意味的クエリを構築することで、新規のトレーラーに基づくデータセットで65.4%のmAPを達成し、優れた性能を示した。

ABSTRACT

In this paper, we propose a new approach for retrieval of video segments using natural language queries. Unlike most previous approaches such as concept-based methods or rule-based structured models, the proposed method uses image captioning model to construct sentential queries for visual information. In detail, our approach exploits multiple captions generated by visual features in each image with `Densecap'. Then, the similarities between captions of adjacent images are calculated, which is used to track semantically similar captions over multiple frames. Besides introducing this novel idea of 'tracking by captioning', the proposed method is one of the first approaches that uses a language generation model learned by neural networks to construct semantic query describing the relations and properties of visual information. To evaluate the effectiveness of our approach, we have created a new evaluation dataset, which contains about 348 segments of scenes in 20 movie-trailers. Through quantitative and qualitative evaluation, we show that our method is effective for retrieval of video segments using natural language queries.

研究の動機と目的

• 自然言語クエリを用いた特定の動画セグメントを検索する課題に取り組むこと。これは従来のコンセプトやオブジェクトベースの手法では困難である。
• ニューラル言語生成モデルが、動画コンテンツ内の関係性や性質を捉える意味的クエリを効果的に構築できるかどうかを検討すること。
• オブジェクトやコンセプトの追跡ではなく、キャプション類似度を用いてフレーム間で意味的整合性を追跡する新しい動画検索手法を開発すること。
• 20本の映画トレーラーから構成される348個の動画セグメントで構成される新規データセットを用いて、現実的で多様なクエリシナリオを保証する手法の評価を行うこと。

提案手法

• 本手法は、各フレームごとにDenseCapを用いて複数のキャプションを生成し、画像内の濃密な領域から多様な視覚的記述を捉える。
• 隣接するフレーム間のキャプション間の意味的類似度を、事前学習済みのskip-thoughtベクトルを用いて計算し、時間的に意味的に一貫した視覚的コンテンツを同定する。
• 連続するフレーム間で意味的に類似したキャプションをリンクすることで「キャプションによるトラッキング」を実行し、連続する空間時間的トラックを形成する。
• 得られたトラックは、入力の自然言語クエリに一致する候補となる動画セグメントを表し、DenseCapからのバウンディングボックスによって局所化が提供される。
• 文の埋め込みにskip-thoughtベクトルを用い、キャプション間の意味的関連性を測るためのコサイン類似度を計算する。
• キャプション生成、キャプション類似度計算、トラック形成を統合したパイプラインアーキテクチャを構築し、エンドツーエンドの動画セグメント検索を実現する。

実験結果

リサーチクエスチョン

• RQ1 DenseCapのようなニューラル言語生成モデルを、動画検索のための視覚的特徴から意味的クエリを効果的に生成するために活用できるか？
• RQ2 キャプション類似度に基づくトラッキングが、従来のオブジェクトやコンセプトベースのトラッキングに比べ、自然言語クエリからの動画セグメント検索で優れているか？
• RQ3 文の類似度が、文法的または構造的解析に依存せずに、複雑な視覚的関係性（例：「飛んでいる」対「止まっている」）を捉えることができるか？
• RQ4 文の埋め込みモデルの選択（例：skip-thought対word2vec）が、mAPおよび再現率の観点で検索性能に与える影響は何か？

主な発見

• 提案手法は、skip-thoughtベクトルを用いることで65.4%の平均平均精度（mAP）を達成し、word2vec（54.9% mAP）を著しく上回り、文脈を考慮した文の埋め込みの優位性を示した。
• 再現率を≥0.5に制約した場合、skip-thoughtベクトルのmAPは32.3%に達したのに対し、word2vecでは25.9%にとどまり、高精度検索における優れたロバストネスを確認した。
• 同じ単語を含むが意味的に異なる文、例えば「the person rode the horse」と「the horse rode the person」の間で、skip-thought埋め込みのコサイン類似度が低く（0.68）なることから、意味的差を効果的に区別できた。
• バウンディングボックスを用いて関連する動画セグメントを局所化した。これは、キャプションによるトラッキングが空間的文脈を保持し、視覚的コンテンツの正確な局所化を可能にしていることを示している。
• 定性的な結果から、同じオブジェクトの異なる視覚的状態（例：「鳥が飛んでいる」対「枝に止まっている鳥」）を別々の関連セグメントとして検索できることを示した。
• 正解に対して複数の候補トラックが生成されたことから、クエリの意味的変動に敏感で、良好な一般化性能を示していることが判明した（補足動画デモを参照）。