[論文レビュー] Video Captioning with Guidance of Multimodal Latent Topics

Shizhe Chen, Jia Chen+2 more|arXiv (Cornell University)|Aug 31, 2017

Multimodal Machine Learning Applications参考文献 37被引用数 7

ひとこと要約

本稿では、教師なしの方法で動画-文ペアからマルチモーダルな潜在トピックを発見し、それらを用いてトピックに配慮したデコーダーをガイドすることで、より正確で詳細な記述を生成する統合型動画キャプションフレームワーク、M&M TGMを提案する。マルチタスク学習によりトピック予測タスクとキャプション生成タスクを同時に最適化することで、MSR-VTTおよびYouTube2Textで最先端の性能を達成し、一般化性能が向上し、トピック固有のより豊かな記述が得られる。

ABSTRACT

The topic diversity of open-domain videos leads to various vocabularies and linguistic expressions in describing video contents, and therefore, makes the video captioning task even more challenging. In this paper, we propose an unified caption framework, M&M TGM, which mines multimodal topics in unsupervised fashion from data and guides the caption decoder with these topics. Compared to pre-defined topics, the mined multimodal topics are more semantically and visually coherent and can reflect the topic distribution of videos better. We formulate the topic-aware caption generation as a multi-task learning problem, in which we add a parallel task, topic prediction, in addition to the caption task. For the topic prediction task, we use the mined topics as the teacher to train a student topic prediction model, which learns to predict the latent topics from multimodal contents of videos. The topic prediction provides intermediate supervision to the learning process. As for the caption task, we propose a novel topic-aware decoder to generate more accurate and detailed video descriptions with the guidance from latent topics. The entire learning procedure is end-to-end and it optimizes both tasks simultaneously. The results from extensive experiments conducted on the MSR-VTT and Youtube2Text datasets demonstrate the effectiveness of our proposed model. M&M TGM not only outperforms prior state-of-the-art methods on multiple evaluation metrics and on both benchmark datasets, but also achieves better generalization ability.

研究の動機と目的

• オープンドメインの動画キャプションにおけるトピック多様性の課題に対処すること。動画は多様なトピックをカバーしており、それぞれに固有の語彙や言語的スタイルを持つ。
• 手動のアノテーションを一切用いずに、動画-文ペアから意味的かつ視覚的に一貫性のある潜在トピックを自動で発見すること。
• 予測された潜在トピックを用いて動画キャプション生成をガイドすることで、より正確で詳細かつトピック固有の記述を生成すること。
• エンドツーエンドのマルチタスク学習により、トピック予測とキャプション生成を同時に最適化することで、モデル性能と一般化性能を向上させること。

提案手法

• マルチモーダルなトピックマイニング手法により、視覚的および文脈的特徴を用いて動画-文ペアから潜在トピックを発見し、意味的・視覚的に一貫性のあるトピックを生成する。
• 教師-生徒学習フレームワークを用いて潜在トピックを予測する。教師は発見されたトピックを使用し、生徒は動画のコンテンツからそれらを予測するように学習する。
• 独創的なトピックに配慮したデコーダーは、予測されたトピックに応じて内部重みを動的に調整し、トピックごとに別々のデコーダーを用意せずに、トピック固有の文生成を可能にする。
• マルチタスク学習により、キャプション生成損失とトピック予測損失を同時に最適化することで、トピック発見と記述生成の間の結合を強化する。
• モデル全体をエンドツーエンドで訓練することで、共有パラメータと特徴を用いて、トピック予測と文生成を同時に最適化できる。

実験結果

リサーチクエスチョン

• RQ1 オープンドメインの動画の意味的・視覚的多様性を反映するように、動画-文ペアから教師なしの方法で潜在トピックを自動で発見するにはどうすればよいか？
• RQ2 予測された潜在トピックを効果的に活用することで、動画キャプション生成の正確性と詳細さをどのように向上させられるか？
• RQ3 トピックガイドドキャプションモデルを最適に訓練するには、トピック予測とキャプション生成の両性能を同時に向上させる最適な方法は何か？
• RQ4 トピックに配慮したデコーダーは、トピック固有のデコーダーと同等の性能を達成しつつ、計算効率とデータ効率の面で優れていると言えるか？

主な発見

• M&M TGMは、BLEU-4、METEOR、ROUGE-L、CIDErを含む複数の指標において、MSR-VTTおよびYouTube2Textの両データセットで先行する最先端手法を上回る性能を達成した。
• MSR-VTTでは、CIDErスコアが108.9に達し、ベースラインよりも顕著に高く、50トピックで最適な性能を示した。
• YouTube2Textでは、クリーンなエキスパート定義トピックを使用した場合、CIDErスコアが82.79に達し、ノイズの多いトピックバージョンと比較して9.5ポイントの向上を示した。
• モデルはバニラモデルの391語と比較して493語の固有語を生成し、トピックガイドの効果により語彙の豊かさと多様性が向上していることが示された。
• λ > 0 のマルチタスク学習は、単一タスク学習よりも一貫して性能を向上させ、ハイパーパrameter選択に対するロバスト性を示した。
• 定性的な分析により、M&M TGMは特にサッカーとラグビー、折り紙と紙飛行機の作成といった類似概念を区別する点で、より正確で詳細な記述を生成することが確認された。