[논문 리뷰] On the General Value of Evidence, and Bilingual Scene-Text Visual Question Answering

Xinyu Wang, Yuliang Liu외 7명|arXiv (Cornell University)|2020. 02. 24.

Multimodal Machine Learning Applications참고 문헌 33인용 수 13

한 줄 요약

이 논문은 영어와 중국어 질문-답변 쌍을 포함한 双語적 장면 텍스트 시각질문응답(Visual Question Answering, VQA) 데이터셋인 STE-VQA를 소개하고, 답변과 관련된 이미지 영역을 바운딩 박스로 국소화하도록 요구하는 증거 기반 평가 지표를 제안한다. 답변에 시각적 근거가 없는 경우에 이를 징벌함으로써 모델이 암기보다 추론을 하도록 유도함으로써 일반화 능력을 크게 향상시키며, 기존 VQA 모델이 진정한 이해가 아닌 허수적 상관관계에 의존한다는 것을 드러낸다.

ABSTRACT

Visual Question Answering (VQA) methods have made incredible progress, but suffer from a failure to generalize. This is visible in the fact that they are vulnerable to learning coincidental correlations in the data rather than deeper relations between image content and ideas expressed in language. We present a dataset that takes a step towards addressing this problem in that it contains questions expressed in two languages, and an evaluation process that co-opts a well understood image-based metric to reflect the method's ability to reason. Measuring reasoning directly encourages generalization by penalizing answers that are coincidentally correct. The dataset reflects the scene-text version of the VQA problem, and the reasoning evaluation can be seen as a text-based version of a referring expression challenge. Experiments and analysis are provided that show the value of the dataset.

연구 동기 및 목표

• 기존 시각질문응답(VQA) 모델의 일반화 부족 문제를 해결하기 위해, 훈련 데이터 내 허수적 상관관계를 악용하는 경향이 있는 모델이 깊은 추론을 학습하지 않는다는 점을 다루는 것.
• 정답 정확도 외에도 시각적 증거의 존재 여부를 측정하는 새로운 평가 프로토콜을 개발하여, 모델이 이미지 내용을 진정으로 추론하도록 보장하는 것.
• 영어와 중국어 QA 쌍을 포함한 双어적 장면 텍스트 VQA 데이터셋(ste-vqa)을 구축하여 다국어 추론 및 일반화 능력을 테스트하는 것.
• 기존 VQA 평가 프로토콜이 부적절하다는 것을 입증하기 위해, 답변 풀에 과적합하는 모델이 시각적 근거 없이도 높은 정확도 점수를 얻을 수 있다는 점을 보여주는 것.
• 정답에 충분한 시각적 증거가 포함된 비율을 측정하는 새로운 지표 Δr을 제안하여, 정답이지만 정당화되지 않은 답변을 생성하는 모델을 드러내는 것.

제안 방법

• 이 논문은 장면 텍스트 이미지와 함께 영어 및 중국어 질문-답변 쌍을 포함하는 새로운 데이터셋 STE-VQA를 소개하며, 언어적 및 시각적 근거에 대해 모두 주석을 달았다.
• 모델이 각 답변에 대해 바운딩 박스(증거)를 출력하도록 요구하는 새로운 평가 프로토콜을 제안하여 예측이 이미지에 정확히 근거가 되도록 보장한다.
• 예측된 바운딩 박스와 진정값 바운딩 박수 간의 교차율(Intersection-over-Union, IoU)을 사용하여 시각적 국소화의 질을 평가하는 증거 기반 지표를 도입한다.
• 전체 정답 중 정답이면서 충분한 증거가 있는 답변의 비율을 측정하는 새로운 지표 Δr = CLC_all / TC_all 를 제안하며, 이는 답변 풀에 과적합하는 모델을 식별하는 데 기여한다.
• 세 가지 과제를 통해 모델을 평가한다: 다국어(CL), 국소화(LC), 기존 방식(TC)이며, CLC는 추론과 언어 일반화를 모두 포함하는 주요 평가 과제이다.
• LoRRA 및 QA R-CNN와 같은 기초 모델들을 기존 평가 프로토콜과 증거 기반 프로토콜 모두에서 평가하여 성능 비교 및 과적합 탐지 수행.

실험 결과

연구 질문

• RQ1 정답에 시각적 증거를 요구하는 것이 기존 정확도 지표를 넘어서 VQA 모델의 일반화 능력을 향상시키는가?
• RQ2 현존하는 VQA 모델들이 이미지 내용을 추론하기보다는 답변 분포를 암기하는 데 얼마나 의존하는가?
• RQ3 이중어 장면 텍스트 VQA는 언어와 시각적 신호 간의 일반화 능력을 어떻게 도전하는가?
• RQ4 증거 기반 평가 프로토콜은 진정한 이해 없이 우연히 정답을 내는 모델을 효과적으로 탐지할 수 있는가?
• RQ5 제안된 Δr 지표는 답변 공간에 과적합하여 많은 정답이지만 정당화되지 않은 답변을 생성하는 모델을 신뢰성 있게 식별할 수 있는가?

주요 결과

• 제안된 증거 기반 평가 프로토콜은 기존 VQA 모델(LoRRA 및 QA R-CNN 포함)이 이미지에 근거 없이 정답을 출력하는 경향이 있음을 드러내며, 허수적 상관관계에 의존하고 있음을 시사한다.
• P+LV 및 L+LV와 같은 모델들은 수치를 요구하는 질문에 대해 비숫자 답변(예: 'caffe', '长')을 자주 출력하며, 질문 유형을 잘못 이해하고 있음을 보여준다.
• 바운딩 박스가 정확하게 예측된 경우조차도, 잘못된 텍스트 인식(예: '708'이 '8'로 잘못 읽힘)으로 인해 잘못된 답변이 나오는 경우가 있어, OCR 오류가 실패의 원인이 되고 있음을 확인한다.
• 히우리틱 규칙를 적용한 QA R-CNN 모델은 기존 정확도(TC)에서 가장 높은 점수를 기록했지만, Δr 점수는 가장 낮아, 답변 공간에 과적합하고 정당화되지 않은 답변을 많이 생성한다는 것을 시사한다.
• 모든 모델이 장문의 답변 질문에서 빈약한 성능을 보이며, 현재 아키텍처가 복잡한 추론을 위해 다수의 텍스트 신호를 통합하는 데 어려움을 겪고 있음을 보여준다.
• 모든 모델에서 TC 대비 CLC 점수(국소화 및 정확도의 통합)가 크게 하락하여, 시각적 근거가 강력한 제약 조건임을 입증하며 모델의 약점을 드러낸다.