[論文レビュー] End-to-end Concept Word Detection for Video Captioning, Retrieval, and Question Answering

Youngjae Yu, Hyungjin Ko+2 more|arXiv (Cornell University)|Oct 10, 2016

Multimodal Machine Learning Applications参考文献 14被引用数 19

ひとこと要約

本論文では、外部知識を一切用いずにキャプション学習データのみを用いて、ビデオクリップから高レベルの意味的コンセプトを特定するエンドツーエンドでトレーニング可能なコンセプトワード検出器を提案する。この検出器は、検出されたコンセプトをビデオ対言語モデルに統合するための意味的アテンション機構を統合し、ビデオキャプション、リtrieval、質問応答の各タスクで顕著な性能向上を達成し、LSMDC 2016の4つのタスクのうち3つで最先端の結果を達成した。

ABSTRACT

We propose a high-level concept word detector that can be integrated with any video-to-language models. It takes a video as input and generates a list of concept words as useful semantic priors for language generation models. The proposed word detector has two important properties. First, it does not require any external knowledge sources for training. Second, the proposed word detector is trainable in an end-to-end manner jointly with any video-to-language models. To maximize the values of detected words, we also develop a semantic attention mechanism that selectively focuses on the detected concept words and fuse them with the word encoding and decoding in the language model. In order to demonstrate that the proposed approach indeed improves the performance of multiple video-to-language tasks, we participate in four tasks of LSMDC 2016. Our approach achieves the best accuracies in three of them, including fill-in-the-blank, multiple-choice test, and movie retrieval. We also attain comparable performance for the other task, movie description.

研究の動機と目的

• 外部知識ソースに依存せずに、ビデオ対言語モデルの性能を向上させるコンセプトワード検出器の開発。
• コンセプト検出器とビデオ対言語モデルを同時にエンドツーエンドでトレーニング可能にする。
• 検出されたコンセプトに意味的アテンションを適用することで、ビデオキャプション、リtrieval、質問応答の性能を向上させる。
• 統一されたフレームワークを用いて、複数のビデオ対言語タスクにわたる本手法の有効性を実証する。

提案手法

• コンセプトワード検出器は、フレーム領域全体にわたる連続的で柔ららかなアテンション機構を用いて、キャプション内の単語に関連する一貫した視覚的パターンを特定する。
• 外部データセットや事前学習分類器を一切使用せず、ビデオとキャプションのペairのみでエンドツーエンドでトレーニングされる。
• 意味的アテンション機構により、言語モデルのエンコーディングおよびデコーディング段階で、検出されたコンセプトワードに選択的に注目する。
• 検出されたコンセプトはエンコーダーで単語埋め込みと統合され、隠れ表現を豊かにするとともに、出力予測と統合され、生成精度を向上させる。
• 検出と生成を同時に最適化できるように、アテンションを備えたシーケンス・ツー・シーケンスアーキテクチャに統合される。
• 最終予測の信頼性とベンチマーク性能を向上させるために、複数のモデルをアンサンブル化する。

実験結果

リサーチクエスチョン

• RQ1 外部知識を一切用いずに、ビデオキャプションペアのみでコンセプトワード検出器を効果的にトレーニングできるか？
• RQ2 コンセプト検出と言語生成をエンドツーエンドで同時に最適化することで、ビデオ対言語タスク全体の性能がどのように向上するか？
• RQ3 検出されたコンセプトワードは、ビデオキャプション、リtrieval、質問応答のどの程度の向上に寄与するか？
• RQ4 意味的アテンション機構は、検出されたコンセプトを効果的に活用し、モデルの推論力と生成精度を向上させることができるか？

主な発見

• 本手法は、LSMDC 2016の穴埋めタスクで最高の精度を達成し、他の参加者全員を上回った。
• 6つの独立にトレーニングされたモデルのアンサンブルを用いて、複数選択テストで67.0%の精度を達成し、1位を獲得した。
• 映画リtrievalタスクにおいて、顕著な差をつけて最高のリtrieval性能を達成し、Recall@kが最高で、中央順位（Median Rank）が最低であった。
• コンセプト検出器は「時計」「オフィス」「水泳」「水」など、関連する意味的コンセプトを効果的に特定し、複雑または曖昧な状況でも正しい予測を導く手がかりとなった。
• 定性的な分析から、生成キャプションが正解と完全に一致しなくても、関連する意味的コンテンツを捉えることで、モデルの一般化能力が向上していることが示された。
• 失敗事例の主な原因は、まれまたは微細な視覚的手がかり（例：「チッタ」「コック」）が、検出器やアテンション機構で十分に捉えられていなかったことであった。