[論文レビュー] Multilevel Hierarchical Network with Multiscale Sampling for Video Question Answering

Min Peng, Chongyang Wang+3 more|arXiv (Cornell University)|May 9, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、動画質問応答（VideoQA）のためのマルチスケールサンプリングを備えたマルチレベル階層型ネットワーク（MHN）を提案する。この手法は、複数スケールの視覚的外観・運動特徴と、マルチレベルのディープラーニング表現を統合する。方法は、スケール間で繰り返し適用される質問誘導型視覚特徴を改善するための再帰的マルチモodal相互作用モジュールと、共有トランスフォーマー・エンコーダーを用いた並列視覚推論モジュールを備え、TGIF-QA、MSRVTT-QA、MSVD-QAのデータセットで最先端の性能を達成する。

ABSTRACT

Video question answering (VideoQA) is challenging given its multimodal combination of visual understanding and natural language processing. While most existing approaches ignore the visual appearance-motion information at different temporal scales, it is unknown how to incorporate the multilevel processing capacity of a deep learning model with such multiscale information. Targeting these issues, this paper proposes a novel Multilevel Hierarchical Network (MHN) with multiscale sampling for VideoQA. MHN comprises two modules, namely Recurrent Multimodal Interaction (RMI) and Parallel Visual Reasoning (PVR). With a multiscale sampling, RMI iterates the interaction of appearance-motion information at each scale and the question embeddings to build the multilevel question-guided visual representations. Thereon, with a shared transformer encoder, PVR infers the visual cues at each level in parallel to fit with answering different question types that may rely on the visual information at relevant levels. Through extensive experiments on three VideoQA datasets, we demonstrate improved performances than previous state-of-the-arts and justify the effectiveness of each part of our method.

研究の動機と目的

• 異なる時間的粒度におけるマルチスケールの視覚的外観・運動情報が、従来のVideoQA手法で無視されているというギャップを解消すること。
• 深層ニューラルネットワークのマルチレベル表現学習能力と、マルチスケールの視覚的特徴を効果的に統合する方法を調査すること。
• 多様な質問タイプに対応できる質問誘導型でスケールに敏感な視覚的推論を可能にするモデルアーキテクチャを設計すること。
• 階層的で再帰的なマルチモーダル相互作用と、複数の抽象化レベルにわたる並列視覚推論を可能にすることで、VideoQAの性能を向上させること。

提案手法

• モデルは、入力動画から異なる時間的粒度のフレームグループをマルチスケールで抽出するためのマルチスケールサンプリングを採用する。
• 再帰的マルチモーダル相互作用（RMI）モジュールは、スタックされた再帰的接続されたマルチモーダルブロックを用い、スケール間で繰り返し質問誘導型の視覚表現を改善する。
• 各マルチモーダル相互作用ブロックは、特定のスケールにおけるフレームグループを処理し、質問埋め込みと外観・運動特徴の間でクロスアテンションを実行する。
• 並列視覚推論（PVR）モジュールは、すべてのRMIブロックの出力を並列に処理するための共有トランスフォーマー・エンコーダーを適用し、複数レベル間での共同推論を可能にする。
• PVRにおける共有トランスフォーマー・エンコーダーは、パラメータを削減しながらも、強力な特徴統合と推論能力を維持する。
• このアーキテクチャは、TGIF-QA、MSRVTT-QA、MSVD-QAという3つのVideoQAベンチマークでエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールの視覚的外観・運動特徴を、VideoQAのためのディープラーニングモデルに効果的に統合する方法は何か？
• RQ2 複数レベルの処理が、異なる時間的スケールにおける質問依存の視覚的キューをモデル化する上で果たす影響は何か？
• RQ3 スケール間で再帰的なマルチモーダル相互作用を適用することで、質問誘導型の視覚的表現学習はどのように向上するか？
• RQ4 複数レベルの特徴に対する並列推論は、VideoQAにおける多様な質問タイプのパフォーマンスを向上させるか？
• RQ5 階層的視覚推論の文脈において、マルチスケールサンプリングの最適な時間的スケール数は何か？

主な発見

• MHNモデルはTGIF-QAで最先端の性能を達成し、Actionタスクで83.5%、Trans.タスクで90.8%、FrameQAタスクで58.1%、Countタスクで3.58の精度を示した。
• RMIにおける再帰的接続を削除すると、すべてのタスクで性能が低下し、特徴の改善に多段階の相互作用が不可欠であることが示された。
• PVRで最終ブロックの出力のみを用いると、すべてのレベルの出力を用いる場合より性能が低くなることから、多段階推論の価値が確認された。
• スケール数をN=2からN=4に増やすと、FrameQAおよびCountタスクの性能が向上し、TGIF-QAではN=3が最適な性能を示した。
• 各レベルごとに別々のトランスフォーマー・エンコーダーを用いたバリエーションはわずかに性能を向上させたが、パラメータ数は22.8Mに増加した。一方、デフォルトの共有エンコーダー・モデル（16.5M）は、PSAC や HME よりも高い性能を示した。
• アブレーションスタディにより、マルチスケールの視覚的情報と多段階処理が、頑健なVideoQA性能にとって不可欠であることが確認された。