[論文レビュー] Video Captioning and Retrieval Models with Semantic Attention.

Youngjae Yu, Hyungjin Ko+2 more|arXiv (Cornell University)|Oct 10, 2016

Multimodal Machine Learning Applications参考文献 3被引用数 37

ひとこと要約

本論文では、外部の知識に依存せずに動画入力から直接意味的事前知識を生成することで、動画キャプション生成およびリtrievalモデルの性能を向上させる、概念語検出器と統合された意味的アテンションメカニズムを提案する。エンド・ツー・エンドで学習可能な検出器が関連する概念語を特定し、その後、言語生成プロセスでそれらを選択的に注目する。この手法により、LSMDC 2016の4つのタスクのうち3つで最先端の性能を達成した。特に、穴埋め問題と映画リtrievalのタスクで顕著な向上を示した。

ABSTRACT

We propose a high-level concept word detector that can be integrated with any video-to-language models. It takes a video as input and generates a list of concept words as useful semantic priors for language generation models. The proposed word detector has two important properties. First, it does not require any external knowledge sources for training. Second, the proposed word detector is trainable in an end-to-end manner jointly with any video-to-language models. To maximize the values of detected words, we also develop a semantic attention mechanism that selectively focuses on the detected concept words and fuse them with the word encoding and decoding in the language model. In order to demonstrate that the proposed approach indeed improves the performance of multiple video-to-language tasks, we participate in four tasks of LSMDC 2016. Our approach achieves the best accuracies in three of them, including fill-in-the-blank, multiple-choice test, and movie retrieval. We also attain comparable performance for the other task, movie description.

研究の動機と目的

• 動画入力から直接導出される意味的事前知識を統合することで、動画から言語へのモデルの性能を向上させること。
• 外部の知識ソースを必要としない学習用の概念語検出器を開発すること。
• 概念検出器と動画から言語へのモデルをエンド・ツー・エンドで共同学習可能にすること。
• 意味的アテンションメカニズムを用いて、検出された概念語に選択的に注目することで、言語生成の性能を向上させること。
• キャプション生成やリtrievalを含む、複数の動画から言語へのタスクにおける性能向上を実証すること。

提案手法

• 高レベルの概念語検出器を、外部知識に依存せずに動画入力に対してエンド・ツー・エンドで学習させ、関連する意味的コンセプトのリストを出力する。
• 検出された概念語が、動画キャプション生成およびリtrievalモデルにおける言語生成をガイドする意味的事前知識として機能する。
• 言語モデルのエンコーディングおよびデコーディング段階において、検出された概念語に選択的に注目するための意味的アテンションメカニズムを導入する。
• 概念検出器およびアテンションメカニズムを含む、全体のシステムが動画から言語へのモデルとエンド・ツー・エンドで共同学習される。
• LSMDC 2016ベンチマークの4つのタスク（穴埋め問題、複数選択、映画リtrieval、記述生成）に対して評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 外部知識に依存せずに動画入力に対してエンド・ツー・エンドで学習可能な概念語検出器は、動画キャプション生成およびリtrievalの性能向上に寄与するか？
• RQ2 言語生成プロセスにおいて、検出された概念語に注目する意味的アテンションメカニズムはどの程度有効か？
• RQ3 検出された意味的事前知識を統合することで、多様な動画から言語へのタスクにおいて一貫した性能向上が得られるか？
• RQ4 提案手法は、複数の動画理解ベンチマークで最先端の結果を達成できるか？

主な発見

• 提案手法は、LSMDC 2016コンテストの穴埋め問題タスクで最高の正答率を達成した。
• 複数選択タスクでは、提出されたすべての手法の中で最高の性能を示した。
• 映画リtrievalタスクでは最良の結果を達成し、動画とテキストの間の強い意味的整合性を示した。
• 映画記述生成タスクでは、最先端の手法と同等の性能を達成した。これは、異なるキャプションスタイルにわたる優れた一般化性能を示している。