[논문 리뷰] What Gives the Answer Away? Question Answering Bias Analysis on Video QA Datasets

Jianing Yang, Yuying Zhu외 4명|arXiv (Cornell University)|2020. 07. 07.

Multimodal Machine Learning Applications참고 문헌 15인용 수 7

한 줄 요약

이 논문은 RoBERTa를 사용하여 영상 질의응답(VQA) 데이터셋의 질의응답 편향을 분석하며, 사전학습된 언어 모델이 영상 입력 없이 다중선택 질문에서 20%의 무작위 기준보다 훨씬 높은 37–48%의 정확도를 달성한다는 것을 밝혀냈다. 연구는 주로 응답자 신원과 추론 질문 유형(예: '왜'/'어떻게')이 편향의 주요 원인임을 규명했으며, 일반화 능력을 향상시키기 위해 응답자 간 중복이 없는 훈련-테스트 분할 전략을 권장한다.

ABSTRACT

Question answering biases in video QA datasets can mislead multimodal model to overfit to QA artifacts and jeopardize the model's ability to generalize. Understanding how strong these QA biases are and where they come from helps the community measure progress more accurately and provide researchers insights to debug their models. In this paper, we analyze QA biases in popular video question answering datasets and discover pretrained language models can answer 37-48% questions correctly without using any multimodal context information, far exceeding the 20% random guess baseline for 5-choose-1 multiple-choice questions. Our ablation study shows biases can come from annotators and type of questions. Specifically, annotators that have been seen during training are better predicted by the model and reasoning, abstract questions incur more biases than factual, direct questions. We also show empirically that using annotator-non-overlapping train-test splits can reduce QA biases for video QA datasets.

연구 동기 및 목표

• 영화QA 및 TVQA와 같은 인기 있는 영상 VQA 데이터셋에서 질의응답 편향의 정도를 조사하는 것.
• RoBERTa와 같은 사전학습된 언어 모델이 시각적 또는 다중모odal 맥락을 사용하지 않고도 QA 작업에서 높은 정확도를 달성할 수 있는지 평가하는 것.
• 이러한 편향의 근본 원인을 규명하는 것—응답자 신원과 질문 유형(예: 사실적 vs. 추론) 포함.
• 편향을 줄이고 모델 일반화 능력을 향상시키기 위해 응답자-비중복 훈련-테스트 분할 전략을 포함한 향상된 데이터셋 분할 전략을 제안하는 것.
• 주관적/추상적 질문과 객관적/사실 기반 질문 간의 편향 민감도에서의 상호 상충 관계에 대한 통찰을 제공하는 것.

제안 방법

• 질문과 각 답변 선택지를 연결하여 입력으로 사용하여, MovieQA 및 TVQA의 질문-답변 쌍에 대해 RoBERTa를 미세조정한다.
• 교차엔트로피 손실을 사용하여 각 답변이 올바를 확률을 예측하기 위해 RoBERTa 위에 4층의 MLP 헤드를 훈련한다.
• 두 설정에서 성능을 평가한다: 'QA-only'(RoBERTa를 Q+A에 대해 미세조정) 및 'Answer-only'(RoBERTa를 답변만으로 미세조정).
• 응답자 신원 기반으로 데이터셋을 분할하여 응답자 중복에 기인한 편향을 평가하기 위해 분석 실험을 수행한다.
• 다양한 질문 유형(예: '왜', '어떻게', '무엇', '누구')에 따른 모델 성능을 분석하여 편향 패턴을 규명한다.
• 혼동 행렬과 재분할 전략(예: w118)을 사용하여 편향 원인을 검증하고, 응답자 간 중복이 없는 분할 전략의 효과성을 평가한다.

실험 결과

연구 질문

• RQ1 RoBERTa가 시각적 또는 다중모달 맥락을 전혀 사용하지 않고도 영상 VQA 질문을 얼마나 정확하게 답변할 수 있는가?
• RQ2 영상 VQA 데이터셋의 주요 편향 원인은 응답자 신원인지 질문 유형인지?
• RQ3 사실 질문(예: '누구', '무엇')과 추론 질문(예: '왜', '어떻게') 간 RoBERTa의 성능은 어떻게 다를까?
• RQ4 응답자-비중복 훈련-테스트 분할 전략을 사용하면 QA 편향을 줄이고 모델 일반화 능력을 향상시킬 수 있는가?
• RQ5 질문-답변 쌍의 편향은 최신 영상 VQA 모델의 신뢰성과 평가 지표에 어떤 영향을 미치는가?

주요 결과

• QA-only 설정에서 RoBERTa는 MovieQA와 TVQA에서 각각 37.33%와 48.91%의 검증 정확도를 기록했으며, 이는 20%의 무작위 추측 기준보다 훨씬 높은 성능이다.
• RoBERTa가 영상 입력 없이도 TVQA에서 48.91%의 정확도를 달성한 것은 데이터셋 내에서 언어적 편향이 강하게 존재하여 언어 모델이 이를 악용할 수 있음을 시사한다.
• 응답자 신원은 중요한 편향 원인이다: 훈련 중에 등장한 응답자로부터 온 질문에 대해 모델의 성능이 더 높으며, 응답자 간 중복이 없는 분할 전략을 사용하면 성능이 10–15% 감소하여 편향 감소가 확인된다.
• 추론 질문(예: '왜', '어떻게')은 사실 질문(예: '무엇', '누구')보다 훨씬 더 많은 편향을 유발한다. MovieQA에서 RoBERTa는 '왜/어떻게' 질문에서 사실 질문보다 10% 이상 높은 성능을 기록했다.
• RoBERTa를 고정한 상태에서 응답자 간 중복이 없는 분할 전략을 적용했을 때 성능 저하(예: TVQA에서 48.91%에서 30.75%로 감소)는 테스트 질문이 알려지지 않은 응답자로부터 온 경우 편향이 감소함을 확인한다.
• 본 연구는 향후 작업에서 응답자-비중복 분할 전략을 사용하여 더 신뢰할 수 있고 편향이 줄어든 영상 VQA 모델 평가를 수행할 것을 권장한다.