[論文レビュー] Controllable Video Captioning with POS Sequence Guidance Based on Gated Fusion Network

Bairui Wang, Lin Ma+4 more|arXiv (Cornell University)|Aug 27, 2019

Multimodal Machine Learning Applications参考文献 7被引用数 23

ひとこと要約

本稿では、ゲート付き融合ネットワークを通じて品詞（POS）系列のガイダンスを活用することで、文法的正確性と多様性を向上させる制御可能な動画キャプションモデルを提案する。動きとコンテンツ特徴をクロスゲーティング機構で融合し、デコーダーに動的かつグローバルなPOS情報を統合することで、MSR-VTTおよびMSVDで最先端の性能を達成し、文法的制御性とキャプション品質が向上した。

ABSTRACT

In this paper, we propose to guide the video caption generation with Part-of-Speech (POS) information, based on a gated fusion of multiple representations of input videos. We construct a novel gated fusion network, with one particularly designed cross-gating (CG) block, to effectively encode and fuse different types of representations, e.g., the motion and content features of an input video. One POS sequence generator relies on this fused representation to predict the global syntactic structure, which is thereafter leveraged to guide the video captioning generation and control the syntax of the generated sentence. Specifically, a gating strategy is proposed to dynamically and adaptively incorporate the global syntactic POS information into the decoder for generating each word. Experimental results on two benchmark datasets, namely MSR-VTT and MSVD, demonstrate that the proposed model can well exploit complementary information from multiple representations, resulting in improved performances. Moreover, the generated global POS information can well capture the global syntactic structure of the sentence, and thus be exploited to control the syntactic structure of the description. Such POS information not only boosts the video captioning performance but also improves the diversity of the generated captions. Our code is at: https://github.com/vsislab/Controllable_XGating.

研究の動機と目的

• 複数の動画表現間の関係を十分に活用できない既存の動画キャプションモデルの限界を是正すること。
• POS系列を事前知識として統合することで、グローバルな文法的構造情報を統合し、動画キャプションの性能を向上させること。
• グローバルなPOS系列を操作することで、望ましい文法的構造をガイドする制御可能なキャプション生成を可能にすること。
• 多様な動画特徴をより豊かな表現学習が可能なように適応的に統合する新規なクロスゲーティング機構の開発。

提案手法

• 動き（C3D）とコンテンツ（I3D）特徴などの多様な動画表現を動的かつ適応的に統合できる、クロスゲーティング（CG）ブロックを備えたゲート付き融合ネットワークを設計。
• 融合された動画表現上で学習されたPOS系列生成器により、ターゲットキャプションのグローバルな文法的構造（品詞タグとして）を予測。
• 各デコーディングステップで予測されたグローバルなPOS情報を動的に統合する戦略を導入し、語の生成を文法的文脈に条件づける。
• キャプション生成のための交差エントロピー損失と、別個のPOS系列予測損失を用いて、エンドツーエンドでモデルを訓練。
• デコーダーは動画特徴に対するソフトアテンションを用い、POSガイダンス付きゲーティング信号を統合して隠れ状態を精緻化し、次なる語を予測。
• 推論段階では、生成されたPOS系列を手動で変更可能であり、文法的構造の制御可能なキャプション生成が可能。

実験結果

リサーチクエスチョン

• RQ1 ゲート付き融合ネットワークは、多様な動画表現間の関係を効果的にモデル化でき、動画キャプション性能を向上させることができるか？
• RQ2 グローバルなPOS系列予測は、動画キャプションにおける文法的構造をガイドする意味のある事前知識として機能するか？
• RQ3 デコーダーに動的にPOS情報を統合することで、生成キャプションの正確性と多様性が向上するか？
• RQ4 推論段階でグローバルなPOS系列を操作することで、生成された記述における文法的多様性を制御可能にできるか？

主な発見

• 提案モデルは、MSR-VTTおよびMSVDの両データセットで最先端の性能を達成し、BLEU、METEOR、ROUGE、CIDErの4つの指標すべてでベースラインモデルを上回った。
• （I3D, C3D）特徴を用いたモデルは、MSR-VTTでCIDErスコア120.5、MSVDで118.3を達成し、ベースラインより優れた性能を示した。
• 定性的な分析から、POSガイダンスのもとで、より正確で詳細な記述が生成されていることが示された。例えば、「mixing」を動詞として正しく特定し、「ingredients」を名詞として識別している。
• 制御可能なキャプション生成が成功裏に実証された：POS系列に「ADJ」や「NUM」を含めることで、「ピンクのシャツを着た男」や「2チーム」といった、ユーザーの意図に合致した記述が得られた。
• クロスゲーティング機構は、特徴間の相互関係を効果的に捉えており、POSガイダンスが変更されても堅牢な生成を実現した。
• POS情報の統合により、制御された構造的事前知識を通じて、文法的に多様な出力を促進し、キャプションの多様性が向上した。