[論文レビュー] An Attempt towards Interpretable Audio-Visual Video Captioning

Yapeng Tian, Chenxiao Guan+3 more|arXiv (Cornell University)|Dec 7, 2018

Multimodal Machine Learning Applications参考文献 49被引用数 16

ひとこと要約

本稿では、語生成時の解釈可能なモダリティ選択を備えた音声・視覚動画字幕生成のためのマルチモーダル畳み込みニューラルネットワーク（MM-CNN）を提案する。活性化エネルギーを定義したモダリティに敏感な特徴集約モジュールを導入することで、各生成語に対して視覚的または聴覚的特徴のどちらがより影響力があるかを特定し、最先端の性能を達成するとともに、生成された字幕におけるモダリティ寄与の明確な解釈を可能にする。

ABSTRACT

Automatically generating a natural language sentence to describe the content of an input video is a very challenging problem. It is an essential multimodal task in which auditory and visual contents are equally important. Although audio information has been exploited to improve video captioning in previous works, it is usually regarded as an additional feature fed into a black box fusion machine. How are the words in the generated sentences associated with the auditory and visual modalities? The problem is still not investigated. In this paper, we make the first attempt to design an interpretable audio-visual video captioning network to discover the association between words in sentences and audio-visual sequences. To achieve this, we propose a multimodal convolutional neural network-based audio-visual video captioning framework and introduce a modality-aware module for exploring modality selection during sentence generation. Besides, we collect new audio captioning and visual captioning datasets for further exploring the interactions between auditory and visual modalities for high-level video understanding. Extensive experiments demonstrate that the modality-aware module makes our model interpretable on modality selection during sentence generation. Even with the added interpretability, our video captioning network can still achieve comparable performance with recent state-of-the-art methods.

研究の動機と目的

• マルチモーダル動画字幕生成において、音声および視覚的特徴がブラックボックス的に統合されるという解釈不能性の問題に対処すること。
• 生成文の各語に対して、どのモダリティ（音声または視覚）がより寄与しているかを明示的に明らかにする動画字幕生成フレームワークを設計すること。
• 新たに収集したデータセットを通じて、音声および視覚モダリティ間の高レベルな意味的相関を調査すること。
• 音声・視覚モダリティの間で、高レベルな意味的特徴を相互に推論できるかどうかを評価すること。
• 最先端の手法と比較して性能を犠牲にすることなく、解釈可能性を実現できることを示すこと。

提案手法

• 再帰的デコーダーを備えないマルチモーダル畳み込みニューラルネットワーク（MM-CNN）アーキテクチャを提案し、解釈可能な構造の設計を容易にする。
• 各語生成ステップにおける支配的モダリティを特定するための活性化エネルギーを計算するモダリティに敏感な特徴集約モジュールを導入する。
• 定義された活性化エネルギー得点を用いて、各語生成ステップにおける音声と視覚的特徴の寄与度を定量化および可視化する。
• 音声および視覚の二重ブランチエンコーダーと共有デコーダーヘッドを組み合わせ、マルチモーダル特徴から自然言語記述を生成する。
• クロスモーダル意味的推論およびモダリティ相互作用を調査するため、新たな音声字幕（AC）および視覚字幕（VC）データセットを収集する。
• 標準的な字幕生成指標（BLEU、METEOR、ROUGE-L、CIDEr）を用いて、MSR-VTTおよび新しいAC/VCデータセット上でモデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 各語の生成にどのモダリティ（音声または視覚）がより影響力があるかを明示的に明らかにできる動画字幕生成モデルを設計できるか？
• RQ2 音声および視覚モダリティ間の意味的相関は、字幕生成のような高レベルな動画理解タスクにおいてどれほど強いのか？
• RQ3 直接的な教師信号が存在しない状況下でも、聴覚的モダリティが高レベルな視覚的意味（例：動作、出来事）を推論できるか、逆に視覚的モダリティが音声的意味を推論できるか？
• RQ4 モダリティ選択における解釈可能性を導入することで、ブラックボックス統合手法と比較して全体の字幕生成性能が低下するか？
• RQ5 ネットワークの深さ（残差ブロックの数）は、マルチモーダル字幕生成における性能および一般化性能にどのような影響を及ぼすか？

主な発見

• モダリティに敏感なモジュールにより、視覚的または聴覚的モダリティが生成された字幕の各語にどの程度影響を与えているかを明確に可視化でき、図示例（例：赤＝音声、青＝視覚）により実証された。
• MSR-VTT上でも競争力のある性能を達成し、10個の残差ブロックを用いた場合、BLEU-4が42.2、METEORが28.3、ROUGE-Lが61.4、CIDErが48.0を記録した。
• 10ブロックのモデルが5および15ブロックのバージョンを上回る性能を示し、データセットサイズの制限により、より深いネットワークが常に性能向上に寄与するわけではないことが示された。
• V2A（視覚→音声）タスクはA2A（音声→音声）をわずかに上回り、視覚的特徴が音声字幕生成においてより情報量が多く、視覚的手がかりが音声の解釈を支援するためと考えられる。
• A2V（音声→視覚）タスクはV2Aよりわずかに性能が低いが、依然として有意義な性能を示しており、音声が視覚的意味を推論可能であるが、視覚的特徴ほど効果的ではないことが示された。
• 音声および視覚モダリティ間に強い相関が確認された：視覚的コンテンツは音声イベント（例：歌うこと）を推論するのを助け、音声的コンテンツは視覚的イベント（例：会話、調理）を推論するのを助ける。これはノイズ環境下でも成立する。