[論文レビュー] End-to-End Video Captioning with Multitask Reinforcement Learning

Lijun Li, Boqing Gong|arXiv (Cornell University)|Mar 21, 2018

Multimodal Machine Learning Applications参考文献 56被引用数 6

ひとこと要約

本論文は、エンドツーエンド動画キャプション生成のためのマルチタスク強化学習アプローチを提案する。本手法は、キャプション生成、属性予測、強化学習ベースの報酬最大化を同時に最適化することで、生動画から自然言語のキャプションを生成する1つのモデルを訓練する。本手法は、有効な監督マイニングと段階的訓練を活用することで、MSVDおよびMSR-VTTで最先端の性能を達成し、従来のモデルを大きく上回る。

ABSTRACT

Although end-to-end (E2E) learning has led to impressive progress on a variety of visual understanding tasks, it is often impeded by hardware constraints (e.g., GPU memory) and is prone to overfitting. When it comes to video captioning, one of the most challenging benchmark tasks in computer vision, those limitations of E2E learning are especially amplified by the fact that both the input videos and output captions are lengthy sequences. Indeed, state-of-the-art methods for video captioning process video frames by convolutional neural networks and generate captions by unrolling recurrent neural networks. If we connect them in an E2E manner, the resulting model is both memory-consuming and data-hungry, making it extremely hard to train. In this paper, we propose a multitask reinforcement learning approach to training an E2E video captioning model. The main idea is to mine and construct as many effective tasks (e.g., attributes, rewards, and the captions) as possible from the human captioned videos such that they can jointly regulate the search space of the E2E neural network, from which an E2E video captioning model can be found and generalized to the testing phase. To the best of our knowledge, this is the first video captioning model that is trained end-to-end from the raw video input to the caption output. Experimental results show that such a model outperforms existing ones to a large margin on two benchmark video captioning datasets.

研究の動機と目的

• エンドツーエンド動画キャプションモデルの訓練における課題、特に長い入力および出力シーケンスに起因する高メモリ消費と過学習を解決すること。
• 従来のクロスエントロピー学習の限界を克服すること。これは、露出不一致とデータ不足のため、エンドツーエンド設定で十分に汎化できないため。
• 補助タスク（属性予測と強化学習）を統合した包括的なフレームワークを構築し、深層エンコーダデコーダネットワークの訓練を有効に監視すること。
• ハードウェアおよびデータ制約下でも、マルチタスク学習と段階的訓練を組み合わせることで、エンドツーエンド訓練が可能であり、かつ優れていることを示すこと。

提案手法

• モデルは、動画フレームの符号化にCNNバックボーンを、キャプション生成にLSTMデコーダを用いる統合的エンドツーエンドアーキテクチャを採用する。
• 人間がアノテートしたキャプションから視覚的および言語的属性（例：物体、動作、属性）を抽出することで、補助的な属性予測タスクを導入し、追加の監視を提供する。
• 強化学習モジュールは、REINFORCEアルゴリズムとモンテカルロロールアウトを用い、BLEUおよびROUGE報酬に基づいてキャプション生成方策を最適化することで、露出バイアスを低減する。
• 訓練は段階的なパイプラインに従う：まずクロスエントロピーでCNNを事前学習し、次にREINFORCEで微調整し、最後にマルチタスク学習で全モジュールを同時に最適化する。
• 属性予測（$L_a$）、キャプション生成（$L_x$）、強化学習（$L_r$）の損失を凸結合で組み合わせることで、訓練の安定化を図る。
• バックプロパゲーションを用いてエンドツーエンドでモデルを訓練し、すべての補助タスクからの勾配がCNNおよびLSTM部に逆伝播される。

実験結果

リサーチクエスチョン

• RQ1 利用可能な人間アノテートキャプションのみを用いて、ハードウェアおよびデータ制約下でもエンドツーエンド動画キャプションを有効に訓練できるか？
• RQ2 属性予測と強化学習を組み合わせたマルチタスク学習は、エンドツーエンド動画キャプションにおける汎化性能の向上と過学習の低減に寄与するか？
• RQ3 REINFORCEのような方策勾配法を用いた強化学習は、自己回帰的デコーディングに内在する露出バイアスを緩和できるか？
• RQ4 段階的訓練（監視付き事前学習から強化学習への移行）は、最終的な性能にどのような影響を与えるか？
• RQ5 外部データセットや事前学習済み画像特徴に依存せずに、最先端の結果を達成することは可能か？

主な発見

• 提案されたマルチタスク強化学習アプローチは、MSVDおよびMSR-VTTの両データセットで最先端の性能を達成し、既存のモデルを大きく上回る。
• アブレーションスタディの結果、属性予測ブランチを削除するか、REINFORCEステップをスキップすると性能が著しく低下することが確認され、これらが不可欠であることが裏付けられた。
• REINFORCEアルゴリズムに複数のロールアウトを適用することで、標準的なREINFORCEに比べて性能が1%〜2%向上し、軌道サンプリングの利点が示された。
• クロスエントロピー損失を直接用いたエンドツーエンド訓練では汎化が失敗し、S2VTベースラインよりも性能が劣ることから、本研究で提案する段階的訓練戦略の必要性が強調された。
• 定性的な例では、本モデルはS2VTベースラインよりも正確で文法的に正しい、内容に忠実なキャプションを生成していることが示された。
• ImageNetの事前学習ではなく、動画キャプション固有の特徴でCNNを微調整することで、性能が顕著に向上した。これは、タスク固有の表現学習の価値を示している。