[論文レビュー] Learning Language-Visual Embedding for Movie Understanding with Natural-Language

Atousa Torabi, Niket Tandon+1 more|arXiv (Cornell University)|Sep 26, 2016

Multimodal Machine Learning Applications参考文献 26被引用数 72

ひとこと要約

本稿では、自然言語を用いた映画理解のための共同言語視覚埋め込みモデルを提案する。マルチモーダルディープラーニングを活用し、動画のアノテーションとリtrievalの性能を向上させる。LSMDC16データセットを用い、再表現されたキャプションと人間の行動述語を活用して学習することで、動画アノテーションで19.2%のRecall@10、新規の複数選択式テストで58.11%の正答率を達成した。構造化された評価により、視覚言語理解における優れた性能が示された。

ABSTRACT

Learning a joint language-visual embedding has a number of very appealing properties and can result in variety of practical application, including natural language image/video annotation and search. In this work, we study three different joint language-visual neural network model architectures. We evaluate our models on large scale LSMDC16 movie dataset for two tasks: 1) Standard Ranking for video annotation and retrieval 2) Our proposed movie multiple-choice test. This test facilitate automatic evaluation of visual-language models for natural language video annotation based on human activities. In addition to original Audio Description (AD) captions, provided as part of LSMDC16, we collected and will make available a) manually generated re-phrasings of those captions obtained using Amazon MTurk b) automatically generated human activity elements in "Predicate + Object" (PO) phrases based on "Knowlywood", an activity knowledge mining model. Our best model archives Recall@10 of 19.2% on annotation and 18.9% on video retrieval tasks for subset of 1000 samples. For multiple-choice test, our best model achieve accuracy 58.11% over whole LSMDC16 public test-set.

研究の動機と目的

• 自然言語クエリを用いた正確な動画アノテーションおよびリtrievalを可能にする共同言語視覚埋め込みモデルの開発。
• 人間の行動に基づく、自動的かつ正確な複数選択式テストを用いた、動画理解における視覚言語モデルの評価の課題に取り組む。
• COCOおよびLSMDC16データセットの組み合わせ、再表現されたキャプション、自動抽出された述語目的語フレーズを用いた学習により、モデルの汎化性能の向上。
• 標準的なランク付けタスクに加え、提案された複数選択式テストを用いた、より客観的かつスケーラブルな評価のためのモデル性能の評価。

提案手法

• 著者らは、3種類の共同言語視覚ニューラルネットワークアーキテクチャを設計した：グローバルな動画特徴にソフトアテンションを適用するモデル（M1）、LSTMベースの符号化とソフトアテンションを用いる2つのモデル（M2およびM3）。
• 時間的アテンションネットワークを用いて、フレーズクエリに応じて顕著な動画フレームを動的に強調表示させ、リtrievalの精度を向上させた。
• COCOの画像キャプションとLSMDC16の動画記述の組み合わせを用いて学習を行い、アマゾン・メカニカル・トゥーカーを介して収集された手動での再表現キャプションを含めた。
• 人間の行動要因はKnowlywoodモデルを用いて抽出され、「述語＋目的語」（PO）フレーズを生成し、動画内の行動の正確な位置づけを向上させた。
• 評価のため、動画クリップと自然言語クエスチョンに基づく複数選択式テストを導入し、回答はPOフレーズと再表現キャプションから導出された。
• リtrievalおよび分類性能の最適化のため、順序埋め込み損失とペairワイズランク損失を用いた。

実験結果

リサーチクエスチョン

• RQ1 共同言語視覚埋め込みモデルは、LSMDC16データセット上で動画アノテーションおよびリtrieval性能を効果的に向上させることができるか？
• RQ2 再表現キャプションと自動抽出された述語目的語フレーズを用いた学習は、モデルの汎化性能および性能にどのような影響を与えるか？
• RQ3 人間の行動に基づく複数選択式テストは、動画理解における視覚言語モデルの信頼性のある自動評価ベンチマークを提供できるか？
• RQ4 COCOおよびLSMDC16データセットの組み合わせは、ゼロショットおよびフェイントショット設定におけるモデル性能にどのような影響を与えるか？

主な発見

• 最も性能の優れたモデル、COCOおよびLSMDC16に再表現キャプションを用いて学習したM2（C+L’16+RP）は、動画アノテーションで19.2%のRecall@10、1000サンプルのサブセットでの動画リtrievalで18.9%のRecall@10を達成した。
• LSMDC16の公開テストセット全体では、提案された複数選択式テストで58.11%の正答率を達成し、他のバージョンを上回った。
• アノテーションランク（AR）損失を用いた学習により、ペairワイズランク損失と比較して複数選択式テストの正答率が2%向上した。
• フレーズベースの動画検索においても優れた性能を示し、アテンションネットワークがクエリフレーズに対応する顕著なフレームを正しく強調表示していた。
• COCOおよびLSMDC16データの組み合わせにより、中央順位（medR）の向上と、すべての設定で高いリ콜が達成され、より良い汎化性能が示された。