[論文レビュー] Learning to Discretely Compose Reasoning Module Networks for Video Captioning

Ganchao Tan, Daqing Liu+2 more|arXiv (Cornell University)|Jul 17, 2020

Multimodal Machine Learning Applications参考文献 36被引用数 6

ひとこと要約

本稿では、言語的損失に基づく訓練を受ける離散的でGumbel近似を用いたモジュール選択器を用いて、空間的・時間的推論モジュール（Locate、Relate、Func）を動的に組み合わせる、新しい動画キャプションフレームワークである推論モジュールネットワーク（RMN）を提案する。RMNは、MSVDおよびMSR-VTTで最先端の性能を達成し、明確で説明可能な推論ステップを提供するとともに、CIDErスコアをそれぞれ94.4および49.6まで向上させた。

ABSTRACT

Generating natural language descriptions for videos, i.e., video captioning, essentially requires step-by-step reasoning along the generation process. For example, to generate the sentence "a man is shooting a basketball", we need to first locate and describe the subject "man", next reason out the man is "shooting", then describe the object "basketball" of shooting. However, existing visual reasoning methods designed for visual question answering are not appropriate to video captioning, for it requires more complex visual reasoning on videos over both space and time, and dynamic module composition along the generation process. In this paper, we propose a novel visual reasoning approach for video captioning, named Reasoning Module Networks (RMN), to equip the existing encoder-decoder framework with the above reasoning capacity. Specifically, our RMN employs 1) three sophisticated spatio-temporal reasoning modules, and 2) a dynamic and discrete module selector trained by a linguistic loss with a Gumbel approximation. Extensive experiments on MSVD and MSR-VTT datasets demonstrate the proposed RMN outperforms the state-of-the-art methods while providing an explicit and explainable generation process. Our code is available at https://github.com/tgc1997/RMN.

研究の動機と目的

• 既存の動画キャプションモデルにおける明確で段階的な視覚的推論の欠如に対処すること。
• キャプション生成中に推論モジュールの動的かつ離散的な組み合わせを可能にすること。
• 文法的構造（例：品詞タグ）を推論プロセスに統合することで、キャプション品質を向上させること。
• 空間的および時間的両方の視覚理解を目的とした専用の空間的・時間的推論モジュールを設計すること。
• 解釈可能で説明可能な生成プロセスを実現する最先端の性能を達成すること。

提案手法

• モデルは、視覚的単語生成のための空間的・時間的アテンションを備えた「Locate」、行動的単語生成のためのペアワイズ領域相互作用を備えた「Relate」、言語的文脈に敏感な機能語生成を行う「Func」の3つの専用空間的・時間的推論モジュールを採用する。
• 離散的モジュール選択器は、Gumbel-Softmaxを用いて各デコーディングステップで3つのモジュールのうち1つを動的に選択し、微分可能なサンプリングを可能にする。
• モジュール選択器は、品詞（POS）タグの監視に基づく言語的損失を用いて訓練され、モジュール選択を文法的構造と整合させる。
• キャプション生成のための交差エントロピー損失と、モジュール選択のための言語的損失の組み合わせにより、エンドツーエンドで訓練可能なフレームワークを構築する。
• 標準的なエンコーダ・デコーダアーキテクチャを採用し、動画特徴抽出にはCNNバックボーンを、自己回帰的キャプション生成にはRNNデコーダを用いる。
• Gumbel近似により、離散的モジュール選択のバックプロパゲーションが可能となり、モジュールと選択器の共同最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 動的で離散的なモジュール組み合わせ機構は、動画キャプションにおける推論能力を向上させ得るか？
• RQ2 文法的構造（例：品詞タグ）は、キャプション生成中にモジュール選択を効果的に誘導できるか？
• RQ3 専用の空間的・時間的推論モジュール（Locate、Relate、Func）は、より解釈可能で正確なキャプション生成をもたらすか？
• RQ4 Gumbel近似を用いた離散的選択器は、推論モジュールネットワークのエンドツーエンド訓練を可能にするか？
• RQ5 言語的監視を組み込むことで、モジュール選択の正確性と全体的なキャプション品質が向上するか？

主な発見

• RMNは、MSVDおよびMSR-VTTの両データセットで新たな最先端性能を達成し、MSR-VTTではCIDErスコア94.4、MSVDでは92.8を記録した。
• 言語的損失は、すべての指標において一貫して性能を向上させ、モジュール選択を文法的構造と整合させる有効性を示した。
• ワードクラウド分析により、各モジュールがその目的の関数に特化していることが確認された：Locateは視覚的単語（例：'man'、'basketball'）の生成に、Relateは行動的単語（例：'shooting'、'playing'）の生成に、Funcは機能語（例：'a'、'is'）の生成に特化している。
• モデルの生成プロセスは明確で説明可能であり、各ステップで明確に定義された推論モジュールがそれぞれの単語を生成している。
• RMN（H+L）はRMN（S+L）を上回る性能を示しており、言語的監視を伴うハードサンプリングが、ソフトファージョンよりも優れた結果をもたらすことを示した。
• アブレーションスタディにより、言語的損失がモジュール選択の正確性と全体的なキャプション品質を顕著に向上させることを確認した。