[論文レビュー] What Gives the Answer Away? Question Answering Bias Analysis on Video QA Datasets

Jianing Yang, Yuying Zhu+4 more|arXiv (Cornell University)|Jul 7, 2020

Multimodal Machine Learning Applications参考文献 15被引用数 7

ひとこと要約

この論文は、RoBERTaを用いて動画QAデータセットにおける質問応答（QA）バイアスを分析し、事前学習済み言語モデルが動画入力を使用せずに複数選択問題で37–48%の精度を達成していることを明らかにした。これは20%のランダムベースラインよりも顕著に高い。研究では、アノテーターの身元と推論系の質問タイプ（例：'なぜ'/'どうして'）が主なバイアス要因であると特定し、一般化性能を向上させるためにアノテーターが重複しない訓練・テスト分割を推奨する。

ABSTRACT

Question answering biases in video QA datasets can mislead multimodal model to overfit to QA artifacts and jeopardize the model's ability to generalize. Understanding how strong these QA biases are and where they come from helps the community measure progress more accurately and provide researchers insights to debug their models. In this paper, we analyze QA biases in popular video question answering datasets and discover pretrained language models can answer 37-48% questions correctly without using any multimodal context information, far exceeding the 20% random guess baseline for 5-choose-1 multiple-choice questions. Our ablation study shows biases can come from annotators and type of questions. Specifically, annotators that have been seen during training are better predicted by the model and reasoning, abstract questions incur more biases than factual, direct questions. We also show empirically that using annotator-non-overlapping train-test splits can reduce QA biases for video QA datasets.

研究の動機と目的

• MovieQA や TVQA などの代表的な動画QAデータセットにおける質問応答バイアスの程度を調査すること。
• RoBERTa などの事前学習済み言語モデルが、視覚的・マルチモodalな文脈を一切使用しない状況でもQAタスクで高い精度を達成できるかどうかを評価すること。
• これらのバイアスの根本的原因を特定すること。具体的には、アノテーターの身元や質問タイプ（例：事実系 vs. 推論系）を含む。
• アノテーターが重複しない訓練・テスト分割を含む、改善されたデータセット分割戦略を提案することで、バイアスを低減し、モデルの一般化性能を向上させること。
• 主観的・抽象的質問と客観的・事実系質問の間のバイアス感受性のトレードオフに関する洞察を提供すること。

提案手法

• MovieQA および TVQA の質問-回答ペアを用いて RoBERTa を微調整し、質問と各回答選択肢を連結したものを入力とする。
• 交差エントロピー損失を用いて、各回答が正解である確率を予測する4層のMLPヘッドをRoBERTaの上に構築し、学習する。
• 2つの設定での性能評価：'QAのみ'（Q+Aで微調整）と '回答のみ'（回答のみで微調整）。
• アノテーターの身元に基づいてデータセットを分割することで、アノテーターの重複に起因するバイアスを評価するアブレーションスタディを実施。
• 質問タイプ（例：'なぜ'、'どうして'、'なに'、'だれ'）ごとのモデル性能を分析し、バイアスのパターンを特定。
• 誤り行列と再分割戦略（例：w118）を用いて、バイアスの原因を検証し、非重複分割の有効性を評価。

実験結果

リサーチクエスチョン

• RQ1 RoBERTa は、視覚的・マルチモーダルな文脈を一切使用せずに、動画QAの質問に正しく答えられる程度はどの程度か？
• RQ2 動画QAデータセットにおける主なバイアス要因は、アノテーターの身元か質問タイプのどちらか？
• RQ3 事実系の質問（例：'だれ'、'なに'）と推論系の質問（例：'なぜ'、'どうして'）の間で、RoBERTa の性能はどのように異なるか？
• RQ4 アノテーターが重複しない訓練・テスト分割を用いることで、QAバイアスを低減し、モデルの一般化性能を向上させられるか？
• RQ5 質問-回答ペア内のバイアスは、最先端の動画QAモデルおよび評価指標の信頼性にどのように影響を与えるか？

主な発見

• QAのみの設定において、RoBERTa は MovieQA で37.33%、TVQA で48.91%の検証精度を達成しており、20%のランダム推測ベースラインを著しく上回っている。
• 動画入力を使用せずに、TVQA で48.91%の精度を達成していることから、データセット内に言語的バイアスが強く存在し、言語モデルがそれを活用可能であることが示唆されている。
• アノテーターの身元は顕著なバイアス要因である：訓練時に登場したアノテーターの質問に対してモデルの性能が向上する。非重複分割を採用することで、性能が10–15%低下し、バイアス低減の兆候が示された。
• 推論系の質問（例：'なぜ'、'どうして'）は事実系の質問（例：'なに'、'だれ'）よりも顕著に高いバイアスを誘発する。MovieQA では、'なぜ/どうして'質問に対して RoBERTa が10%以上も高い性能を示した。
• RoBERTa を固定した状態で非重複分割を適用した場合（例：TVQA で48.91%から30.75%に低下）、バイアスが低減されていることが確認された。これは、テスト質問が未学習のアノテーターから来ている場合にバイアスが減少することを示している。
• 本研究では、今後の研究においてアノテーターが重複しない分割を採用することで、より信頼性が高くバイアスが低減された動画QAモデルの評価が可能になると提言している。