[論文レビュー] Learning to Answer Questions in Dynamic Audio-Visual Scenarios

Guangyao Li, Yake Wei+4 more|arXiv (Cornell University)|Mar 26, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、音楽演奏動画から得た45,867組の質問・回答ペアを含む大規模なデータセットMUSIC-AVQAを紹介するとともに、空間的・時間的根拠に基づく音声視覚ネットワークを提案し、マルチモーダル理解と推論を向上させた。モデルは、音声視覚的空間的関連性と質問に適応した時間的根拠を明示的にモデル化することで、数え上げや場所に関する質問といった複雑な推論タスクで最先端の結果を達成し、最近のA-、V-、およびAVQA手法を上回った。

ABSTRACT

In this paper, we focus on the Audio-Visual Question Answering (AVQA) task, which aims to answer questions regarding different visual objects, sounds, and their associations in videos. The problem requires comprehensive multimodal understanding and spatio-temporal reasoning over audio-visual scenes. To benchmark this task and facilitate our study, we introduce a large-scale MUSIC-AVQA dataset, which contains more than 45K question-answer pairs covering 33 different question templates spanning over different modalities and question types. We develop several baselines and introduce a spatio-temporal grounded audio-visual network for the AVQA problem. Our results demonstrate that AVQA benefits from multisensory perception and our model outperforms recent A-, V-, and AVQA approaches. We believe that our built dataset has the potential to serve as testbed for evaluating and promoting progress in audio-visual scene understanding and spatio-temporal reasoning. Code and dataset: http://gewu-lab.github.io/MUSIC-AVQA/

研究の動機と目的

• 動的でマルチモーダルなシーンにおいて、共同の空間的・時間的推論を要する音声視覚質問応答（AVQA）の課題に対処すること。
• 現実世界の音楽演奏における複雑な音声視覚的相互作用を捉えた大規模かつ多様なデータセットを構築すること。
• 空間的根拠（音声視覚的ソースの整合）と時間的根拠（キースタンプ注意）を効果的に統合し、推論を向上させるモデルを開発すること。
• マルチセンサリー知覚のAVQAパフォーマンスへの影響を評価し、今後の研究のベンチマークを確立すること。

提案手法

• 注意ベースの音源局在を用いた空間的根拠モジュールを提案し、クロスモodalな音声視覚的関連性をモデル化する。
• 質問の埋め込みをクエリとして用い、動画内の関連するタイムスタンプに注目する時間的根拠モジュールを導入する。
• 空間的注意ありと時間的注意ありの音声視覚特徴を統合し、エンドツーエンドの質問応答用の統合表現を生成する。
• 音声および視覚モダリティ特徴のための2本のブランチエンコーダーを採用し、その後にクロスアテンション機構を用いてモダリティを整合させる。
• オープンエンドド回答予測のための事前定義済みの回答語彙を用い、交差エントロピー損失により学習する。
• YouTubeの音楽演奏動画から人間がアノテートしたQAペアを活用し、学習と評価のための教師信号とする。

実験結果

リサーチクエスチョン

• RQ1 モデルは、物体の位置、音のタイミング、数え上げに関する複雑な質問に応えるために、音声視覚シーンにおける空間的・時間的推論を効果的に実行できるか？
• RQ2 音声と視覚の両モダリティを統合することで、単一モダリティのアプローチと比較して、AVQAパフォーマンスがどのように向上するか？
• RQ3 空間的根拠モジュールと時間的根拠モジュールは、動的音声視覚シナリオにおける推論をどの程度向上させるか？
• RQ4 MUSIC-AVQAのような大規模かつ多様なデータセットは、音声視覚シーン理解の評価のための堅牢なベンチマークとして機能できるか？

主な発見

• 提案されたモデルは、特に数え上げや場所に関する質問といった推論が重視される質問タイプにおいて、最近のA-、V-、およびAVQA手法を上回った。
• すべてのAVQA手法が単一モダリティのアプローチ（AQAおよびVQA）を上回り、複雑なシーンにおけるマルチセンサリー知覚の利点を確認した。
• 空間的根拠モジュールは、物体と音の関連性を求める質問において、効果的に音声視覚的ソース関連性を捉えており、パフォーマンス向上に寄与した。
• 時間的根拠モジュールは、質問に関連する重要なタイムスタンプを的確に強調し、時間的推論能力を向上させた。
• MUSIC-AVQAデータセットは顕著なパフォーマンス向上を実現し、今後の音声視覚推論研究のベンチマークとして強い可能性を示した。
• 失敗事例から、単一モダリティの埋め込みに不要な視覚的または音声的要素がノイズを引き起こす可能性があることが示され、適応的特徴選択の余地があることが示唆された。