[論文レビュー] Hierarchical Modular Network for Video Captioning

Hanhua Ye, Guorong Li+4 more|arXiv (Cornell University)|Nov 24, 2021

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文では、各レベルで動画特徴と言語的意味を対応付けることで、エンティティ、述語、文の3段階の視覚的表現を学習する階層的モジュラーネットワークを提案する。この手法は、変換器ベースのエンティティモジュールを用いて顕著な対象を選択し、キャプション生成性能を著しく向上させ、MSVDでは104.0、MSR-VTTでは51.5という最先端のCIDErスコアを達成した。

ABSTRACT

Video captioning aims to generate natural language descriptions according to the content, where representation learning plays a crucial role. Existing methods are mainly developed within the supervised learning framework via word-by-word comparison of the generated caption against the ground-truth text without fully exploiting linguistic semantics. In this work, we propose a hierarchical modular network to bridge video representations and linguistic semantics from three levels before generating captions. In particular, the hierarchy is composed of: (I) Entity level, which highlights objects that are most likely to be mentioned in captions. (II) Predicate level, which learns the actions conditioned on highlighted objects and is supervised by the predicate in captions. (III) Sentence level, which learns the global semantic representation and is supervised by the whole caption. Each level is implemented by one module. Extensive experimental results show that the proposed method performs favorably against the state-of-the-art models on the two widely-used benchmarks: MSVD 104.0% and MSR-VTT 51.5% in CIDEr score.

研究の動機と目的

• 微細な言語的監督を組み込むことで、動画表現と言語的キャプションの間の意味的ギャップを埋めること。
• キャプション内のエンティティ、述語、完全な文に対応する階層的視覚的表現を学習することで、動画キャプション生成性能を向上させること。
• キャプション内容との関連性に基づいて、全検出対象から主要な対象を選択する新しいエンティティモジュールを開発すること。
• 単に動詞のみをモデル化するのではなく、述語（動詞＋名詞）をモデル化することで、動詞表現の曖昧さを低減すること。
• 全キャプション埋め込みで文レベル表現を監督することで、全体的なキャプションの一貫性を向上させること。

提案手法

• モデルはエンティティ、述語、文の3段階の階層的フレームワークを採用し、それぞれが対応する言語的単位で監督される。
• エンティティモジュールは、動画コンテンツ強化クエリを用いた変換器エンコーダ・デコーダアーキテクチャを採用し、キャプションに最も関連する対象を特定する。
• 述語モジュールは、強調されたエンティティに条件づけられた行動表現を学習し、キャプション内の述語（動詞＋名詞）で監視される。
• 文モジュールは、全キャプション埋め込みで監視されるグローバルな動画表現を学習し、意味的一致性を保証する。
• すべてのモジュールは、複数段階の監督を用いてエンドツーエンドで訓練され、視覚的および言語的表現の共同最適化が可能になる。
• エンティティモジュールは、動画コンテンツに注目する学習可能クエリメカニズムを用いて訓練され、抽象名詞ではなく、正解のエンティティで監視される。

実験結果

リサーチクエスチョン

• RQ1 エンティティ、述語、文の3段階の言語的監督が、動画表現と言語的意味の間の対応をより良くすることで、動画キャプション生成性能を向上させることができるか？
• RQ2 専用のエンティティモジュールを用いて主要対象を選択することで、より正確で的を射たキャプション生成が可能になるか？
• RQ3 動詞単体ではなく、述語（動詞＋名詞）をモデル化することで、表現品質とキャプション精度にどのような影響を与えるか？
• RQ4 階層的監督は、動画コンテンツと自然言語記述の間の意味的ギャップをどの程度低減できるか？
• RQ5 エンティティモジュール内のクエリ数が、顕著な対象の選択と全体的なキャプション生成性能にどのように影響するか？

主な発見

• 提案手法は、MSVDベンチマークで104.0という最先端のCIDErスコアを達成し、以前の最先端手法を上回った。
• MSR-VTTベンチマークでは、51.5というCIDErスコアを達成し、データセットの複雑さにもかかわらず強力な性能を示した。
• アブレーションスタディの結果、エンティティ監督を名詞監督に置き換える、または述語監督を動詞監督に置き換えると、顕著な性能低下が生じ、微細な監督の価値を裏付けた。
• エンティティモジュールのクエリから動画コンテンツを除去すると、性能が著しく低下し、コンテンツに依存するクエリ強化の重要性を証明した。
• エンティティモジュール内のクエリ数は性能に非単調な影響を及ぼし、最適な性能は中程度のクエリ数（例：5～10）で達成された。
• 定性的な結果から、エンティティモジュールが多様な動画シーンにおいて顕著な対象を正しく特定し、不要または関係のない対象を無視していることが確認された。