[論文レビュー] Tackling Data Bias in MUSIC-AVQA: Crafting a Balanced Dataset for Unbiased Question-Answering

Xiulong Liu, Zhikang Dong+1 more|arXiv (Cornell University)|Oct 10, 2023

Speech and Audio Processing被引用数 4

ひとこと要約

この論文は、MUSIC-AVQAデータセットにおける深刻な答えバイアスを特定し、これを是正する。MUSIC-AVQA v2.0—36.7kのトレーニングQAペアを有する、より大規模でバランスの取れたベンチマーク—を提案。音声・視覚の複雑さを向上させた。新規のマルチモーダルモデルを導入し、音声スペクトログラムトランスフォーマー（AST）ブランチとクロスモーダルピクセルワイドアテンションを備え、LAVISHと比較して2.26%、AVSTと比較して4.42%の精度向上を達成。バランスの取れたテストセットにおいて、AVQA分野における新たなSOTAを樹立した。

ABSTRACT

In recent years, there has been a growing emphasis on the intersection of audio, vision, and text modalities, driving forward the advancements in multimodal research. However, strong bias that exists in any modality can lead to the model neglecting the others. Consequently, the model's ability to effectively reason across these diverse modalities is compromised, impeding further advancement. In this paper, we meticulously review each question type from the original dataset, selecting those with pronounced answer biases. To counter these biases, we gather complementary videos and questions, ensuring that no answers have outstanding skewed distribution. In particular, for binary questions, we strive to ensure that both answers are almost uniformly spread within each question category. As a result, we construct a new dataset, named MUSIC-AVQA v2.0, which is more challenging and we believe could better foster the progress of AVQA task. Furthermore, we present a novel baseline model that delves deeper into the audio-visual-text interrelation. On MUSIC-AVQA v2.0, this model surpasses all the existing benchmarks, improving accuracy by 2% on MUSIC-AVQA v2.0, setting a new state-of-the-art performance.

研究の動機と目的

• オリジナルのMUSIC-AVQAデータセットにおける深刻な答えバイアスを特定・定量する。特に二値質問、数え上げ質問、時間的質問タイプに注目する。
• 偏った答えの分布を低減するために、補足となる動画と質問を収集することで、よりバランスの取れて代表的なAVQAベンチマークを構築する。
• 言語の先行知識やバイアスに起因する過学習を克服できるように、音声、視覚、言語のモダリティを効果的に統合する新しいベースラインモデルを開発する。
• バイアスありとバランスの取れたテスト分割の両方でモデルの汎化性能を比較することで、新ベンチマークの優位性を実証する。
• 将来的なAVQA研究に向け、真のマルチモーダル推論能力を反映する信頼性のある、バイアスのないベンチマークを確立する。

提案手法

• MUSIC-AVQAの全33種類の質問テンプレートにおける答えの分布を体系的に分析し、特に二値質問や数え上げ質問で極端な偏りを示すテンプレートを同定する。
• 少数の答えが頻出する高バイアステンプレートのバランスを取るために、1,204本の追加の実際の動画と8,100件の新規QAペアを手動収集する。
• 事前学習済みの音声スペクトログラムトランスフォーマー（AST）ブランチを統合し、音声表現を向上させる新しいベースラインモデル、LAST-Attを設計する。
• 音声と視覚の空間的特徴マップ間のクロスモーダルピクセルワイドアテンションを導入し、微細な音声・視覚の対応付けを強化する。
• 公平な比較のため、元のバイアスありデータセットと新しいバランスの取れたMUSIC-AVQA v2.0の両方でモデルを訓練・評価し、別々の検証およびテスト分割を用いる。
• 同一の表現だが答えが逆転する1,643組のペアド質問を用いた対照的二値QA評価を実施し、モデルの言語の先行知識への依存度に対する耐性をテストする。

実験結果

リサーチクエスチョン

• RQ1 オリジナルのMUSIC-AVQAデータセットにおける答えバイアスは、AVQA分野におけるモデルの汎化性能と信頼性をどの程度損なっているか？
• RQ2 より多様で均等に分布した答えを持つ、新たなバランスの取れたデータセットは、モデル性能の向上と言語の先行知識への過剰依存の低減に寄与するか？
• RQ3 ASTブランチとクロスモーダルピクセルワイドアテンションの統合は、AVQAにおけるマルチモーダル推論を顕著に向上させるか？
• RQ4 バランスの取れたデータセットで学習したモデルは、バイアスありデータセットで学習したモデルと比較して、両方のテスト分割でどの程度の性能を示すか？
• RQ5 対照的二値QA評価は、モデルが言語パターンの記憶に依存しているのではなく、音声・視覚的文脈を真正に理解しているかを効果的に測定できるか？

主な発見

• オリジナルのバイアスありMUSIC-AVQAデータセットで学習したモデルは、バイアスありテストセットでは高い精度（例：LAVISHで+2.96%）を示すが、バランスの取れたテストセットでは性能を発揮しない。これは、データバイアスに過学習していることを確認する。
• MUSIC-AVQA v2.0で学習したLAVISHモデルは、バランスの取れたテストセットで、元のバイアスありセットでの性能と比較して2.96%の精度向上を達成。汎化性能の向上を示した。
• 提案されたLAST-Attモデルは、バランスの取れたテストセットにおいて、LAVISHと比較して2.26%、AVSTと比較して4.42%の精度向上を達成。新たなSOTAを樹立した。
• 対照的二値QA評価では、LAST-AttはLAVISHと比較して4.39%、AVSTと比較して6.46%の性能向上を示した。これは、言語の先行知識に依存せず、音声・視覚的文脈を真正に推論できることを証明した。
• 新規データセットであるMUSIC-AVQA v2.0には、1,204本の追加実動画と8,100件の新規QAペアが含まれており、3つ以上の楽器が複合して登場する複雑な楽器編成に焦点を当て、代表性和の向上と課題の難易度向上を実現した。
• 本研究は、AVQAデータセットにおけるデータバイアスが、頻出する答えを優先するモデルの傾向を助長し、マルチモーダル推論能力を損なうことを確認した。バランスの取れたデータは、信頼性のあるベンチマークに不可欠である。