[論文レビュー] Video Captioning via Hierarchical Reinforcement Learning

Xin Wang, Wenhu Chen+3 more|arXiv (Cornell University)|Nov 29, 2017

Multimodal Machine Learning Applications参考文献 43被引用数 22

ひとこと要約

本稿では、長時間のキャプション生成を高レベルの目標計画と低レベルの行動生成に分解する階層的強化学習（HRL）フレームワークを提案する。マネージャーモジュールが部分的目標を設定し、ワーカーモジュールがそれらの目標に従って記述的セグメントを生成することで、MSR-VTTと新しい大規模な詳細な動画キャプションデータセットであるCharades Captionsにおいて、最先端の性能を達成した。

ABSTRACT

Video captioning is the task of automatically generating a textual description of the actions in a video. Although previous work (e.g. sequence-to-sequence model) has shown promising results in abstracting a coarse description of a short video, it is still very challenging to caption a video containing multiple fine-grained actions with a detailed description. This paper aims to address the challenge by proposing a novel hierarchical reinforcement learning framework for video captioning, where a high-level Manager module learns to design sub-goals and a low-level Worker module recognizes the primitive actions to fulfill the sub-goal. With this compositional framework to reinforce video captioning at different levels, our approach significantly outperforms all the baseline methods on a newly introduced large-scale dataset for fine-grained video captioning. Furthermore, our non-ensemble model has already achieved the state-of-the-art results on the widely-used MSR-VTT dataset.

研究の動機と目的

• 複数の詳細な行動を含む動画に対して、詳細で時間的に整合性のあるキャプションを生成する課題に対処する。
• 自己回帰的系列モデルにおける露出バイアスを克服するため、長期的なキャプション品質を最適化するために強化学習を用いる。
• 高レベルのマネージャーと低レベルのワーカーからなる二段階のエージェントアーキテクチャを通じて、動画キャプションにおける階層的制御を実現する。
• 階層的エージェントを学習するための新しいトレーニングパラダイムを提案し、確率的および決定的ポリシー勾配を用いる。
• 新しく導入された大規模な詳細な動画キャプションデータセット、Charades Captionsを用いて、手法の妥当性を検証する。

提案手法

• マネージャーネットワークを用い、低い時間分解能で部分的目標を設定する階層的強化学習フレームワークを採用する。
• ワーカーネットワークを用い、マネージャーが提供する目標に条件づけられた形で、単語単位でテキストセグメントを生成する。
• 内部クリティックを統合し、生成されたセグメントが目的を達成したかどうかを評価することで、密な形状報酬を提供する。
• 階層的アテンション機構を適用する：マネージャーは広範な時間的文脈に注目し、ワーカーは局所的な動画フレームに注目する。
• ポリシー勾配法を組み合わせて訓練し、交差エントロピーで事前学習されたモデルをウォームスタートとして用いる。
• 推論時にビームサーチ（ビームサイズ5）を用い、多様で高品質なキャプション出力を生成する。

実験結果

リサーチクエスチョン

• RQ1 階層的強化学習フレームワークは、複雑で複数の行動を含む動画において、キャプションの品質と整合性を向上させることができるか？
• RQ2 目標計画と行動実行を分離する階層的制御は、動画キャプションにおける長距離時間的依存関係のモデリングをどのように向上させるか？
• RQ3 標準的な最大尤度学習と比較して、階層的RLアプローチは露出バイアスをどの程度軽減できるか？
• RQ4 提案されたフレームワークは、詳細な動画キャプションと一般動画キャプションの両方のベンチマークに一般化可能か？
• RQ5 外部報酬に依存せずに、内部クリティックは学習プロセスをどの程度効果的に誘導できるか？

主な発見

• 提案されたHRLモデルはアンサンブルを用いず、MSR-VTTデータセットで最先端の性能を達成し、以前の最先端手法を上回った。
• 新しく導入されたCharades Captionsデータセットにおいて、CIDErやその他のキャプション指標において、HRLモデルはすべてのベースライン手法を顕著に上回った。
• 定性的な結果から、HRLモデルは空間的および時間的関係をより正確に捉えた、より記述的で文脈に根ざしたキャプションを生成することがわかった。
• モデルは「ベッドに座る」「ラップトップをバッグに入れる」「部屋から出ていく」といった複雑で順序のある行動を、一貫性のあるキャプション内で正しく特定・記述した。
• アテンションメカニズムの可視化により、マネージャーとワーカーが異なる時間範囲に注目していることが確認され、階層的設計の有効性が裏付けられた。
• 内部クリティックは学習プロセスを効果的に形状づけ、意味のある部分的目標の達成を学習可能にし、全体的なキャプション品質の向上に寄与した。