[論文レビュー] Reconstruct and Represent Video Contents for Captioning via Reinforcement Learning

Wei Zhang, Bairui Wang+2 more|arXiv (Cornell University)|Jun 3, 2019

Multimodal Machine Learning Applications参考文献 68被引用数 5

ひとこと要約

この論文では、双方向学習メカニズムを用いて前向き（動画→文）と後向き（文→動画）の両流れを統合する、RecNetと呼ばれる新しい動画キャプションフレームワークを提案する。デコーダーの隠れ状態から動画特徴を再構築するためのグローバルおよびローカルの再構築器を採用し、交差エントロピーとCIDErに基づく強化学習を統合的に最適化することで、露出バイアスを低減し、動画とテキスト間の意味的整合性を向上させることで、キャプション生成性能を顕著に向上させる。

ABSTRACT

In this paper, the problem of describing visual contents of a video sequence with natural language is addressed. Unlike previous video captioning work mainly exploiting the cues of video contents to make a language description, we propose a reconstruction network (RecNet) in a novel encoder-decoder-reconstructor architecture, which leverages both forward (video to sentence) and backward (sentence to video) flows for video captioning. Specifically, the encoder-decoder component makes use of the forward flow to produce a sentence description based on the encoded video semantic features. Two types of reconstructors are subsequently proposed to employ the backward flow and reproduce the video features from local and global perspectives, respectively, capitalizing on the hidden state sequence generated by the decoder. Moreover, in order to make a comprehensive reconstruction of the video features, we propose to fuse the two types of reconstructors together. The generation loss yielded by the encoder-decoder component and the reconstruction loss introduced by the reconstructor are jointly cast into training the proposed RecNet in an end-to-end fashion. Furthermore, the RecNet is fine-tuned by CIDEr optimization via reinforcement learning, which significantly boosts the captioning performance. Experimental results on benchmark datasets demonstrate that the proposed reconstructor can boost the performance of video captioning consistently.

研究の動機と目的

• 従来の動画キャプションモデルが前向きの流れ（動画→文）に依存しているが、生成されたキャプションから動画への後向きの情報を無視するという限界を是正すること。
• 自己回帰的デコードにおける内蔵的な露出バイアスを、後向き再構築を正則化項として用いることで低減すること。
• 再構築損失と生成損失を併用した共同学習により、動画コンテンツと自然言語記述の間の意味的整合性を向上させること。
• CIDErなどの人間中心の評価指標を直接最適化できるように、強化学習によるファインチューニングにより最適化すること。
• デコーダー隠れ状態からグローバルおよびローカルの両方の動画特徴を再構築することで、キャプション品質が向上することを実証すること。

提案手法

• 畳み込みニューラルネットワーク（CNN）を用いて動画フレームを時系列表現に変換するエンコーダーを備えた、エンコーダ-デコーダ-再構築器アーキテクチャを提案する。
• LSTM/GRUを用いたデコーダーが、エンコーダーで得られた動画特徴から自己回帰的にキャプションを生成する。
• グローバル再構築器（全体の動画表現を再構築）とローカル再構築器（デコーダー隠れ状態からフレームレベル特徴を再構築）の2種類の再構築器を導入する。
• 再構築損失（式12および式14）を用いて再構築器を学習させ、バックプロパゲーションによりエンコーダーとデコーダーを正則化する。
• 生成損失（交差エントロピー）と再構築損失を統合した共同学習目的関数（式22）を用い、エンドツーエンド最適化を実現する。
• REINFORCEアルゴリズムを用いてCIDErスコアを最適化するファインチューニングにより、人間評価指標の直接最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 生成されたキャプションから動画への後向き情報を利用することで、動画キャプションの性能が向上するか？
• RQ2 デコーダー隠れ状態からグローバルおよびローカルの両方の動画特徴を再構築することで、自己回帰的キャプションにおける露出バイアスが低減するか？
• RQ3 再構築と生成損失を併用した共同学習により、動画とテキスト間の意味的整合性が向上するか？
• RQ4 CIDErに基づく強化学習によるファインチューニングは、標準的な交差エントロピー学習に比べて、どれほどキャプション品質を向上させるか？
• RQ5 ローカル再構築器とグローバル再構築器は、意味のある視覚的特徴を再構築する能力において、どのように比較されるか？

主な発見

• グローバルおよびローカル再構築器を併用した提案手法RecNetは、ベンチマーク動画キャプションデータセットで最先端の性能を達成し、標準的なエンコーダ-デコーダー・モデルを上回っている。
• 訓練過程において再構築損失が減少しており、再構築器がデコーダー隠れ状態から動画特徴を正しく再構築できていることが示された。
• RecNetを用いることで、訓練段階と推論段階におけるデコーダーの隠れ状態分布がより一貫的になり、露出バイアスが低減した。
• 定性的な結果から、RecNetは、ベースラインモデルが失敗する動画例においても「メイク」や「顔」を正しく特定したより正確で記述的なキャプションを生成している。
• CIDErに基づく強化学習によるファインチューニングにより、性能がさらなる向上を示しており、指標に基づく最適化の有効性が裏付けられた。
• グローバル再構築器とローカル再構築器の融合は、単独で使用する場合よりも優れた結果をもたらし、両者の視点が補完的であることを確認した。