[논문 리뷰] Improving VQA and its Explanations \\ by Comparing Competing Explanations

Jialin Wu, Liyan Chen외 1명|arXiv (Cornell University)|2020. 06. 28.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 각 답변 후보에 대해 경쟁적인 텍스트 설명을 비교함으로써 시각질문응답(VQA) 및 그 설명을 향상시키는 새로운 프레임워크를 제안한다. 인간이 제공한 설명과 검색되거나 생성된 설명을 사용하여 답변 신뢰도를 재가중함으로써, 이론적 추론을 향상시키고 단기적 학습을 줄이며, 기준 모델 대비 1.1% 향상된 성능을 달성하여 VQA-X 데이터셋에서 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Most recent state-of-the-art Visual Question Answering (VQA) systems are opaque black boxes that are only trained to fit the answer distribution given the question and visual content. As a result, these systems frequently take shortcuts, focusing on simple visual concepts or question priors. This phenomenon becomes more problematic as the questions become complex that requires more reasoning and commonsense knowledge. To address this issue, we present a novel framework that uses explanations for competing answers to help VQA systems select the correct answer. By training on human textual explanations, our framework builds better representations for the questions and visual content, and then reweights confidences in the answer candidates using either generated or retrieved explanations from the training set. We evaluate our framework on the VQA-X dataset, which has more difficult questions with human explanations, achieving new state-of-the-art results on both VQA and its explanations.

연구 동기 및 목표

• 답변 사전 확률이나 단순한 시각적 개념에 집중하는 등 VQA 시스템이 단기적 학습을 하는 문제를 해결하기 위해.
• 공동지식이 필요한 복잡한 질문에 대해 텍스트 설명을 감독으로 활용하여 VQA 성능을 향상시키기 위해.
• 다른 답변에 대한 경쟁적 설명에 기반하여 설명 생성을 조건화시킴으로써 설명 품질을 향상시키기 위해.
• 답변 예측, 설명 검색, 설명 생성을 동시에 최적화하는 엔드 투 엔드 학습을 가능하게 하기 위해.
• 인간의 추론 패턴과 일치하는 근거를 제공함으로써 모델의 투명성과 신뢰도를 높이기 위해.

제안 방법

• 이중 브랜치 네트워크를 사용하여 질문, 이미지, 설명을 인코딩하고, 공동 학습을 위한 공유 표현을 활용한다.
• 정답 답변의 신뢰도를 경쟁 답변의 것과 비교하는 검증 손실을 도입한다.
• 설명의 품질과 관련성에 기반한 학습된 검증 점수를 사용하여 원래의 VQA 예측을 재가중한다.
• 각 답변 후보에 대해 설명을 검색하거나 생성하고, 대비 학습 기반 메커니즘을 통해 이를 최종 예측을 개선하는 데 활용한다.
• 모든 기반 모델(예: Up-Down 또는 LXMERT와 같은)에 대해 미분 가능한 VQA 모델과 통합 가능한 엔드 투 엔드 학습이 가능한 방법이다.
• 경쟁 답변에 대한 검색된 설명에 기반하여 설명 생성을 향상시켜, 더 높은 충실도와 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 경쟁적인 텍스트 설명을 비교함으로써 복잡하고 추론이 필요한 질문에 대한 VQA 성능 향상이 가능한가?
• RQ2 여러 답변 후보에 대한 설명을 사용함으로써 답변 사전 확률이나 시각적 신호에 대한 과도한 의존도를 줄일 수 있는가?
• RQ3 검색되거나 생성된 설명이 답변 예측 및 설명 품질 향상에 효과적인 감독으로 기능할 수 있는가?
• RQ4 설명의 품질이 최종 VQA 성능에 얼마나 큰 영향을 미치며, 검색된 설명은 인간이 작성한 설명에 얼마나 가까이 도달할 수 있는가?
• RQ5 경쟁 답변에 대한 설명에 기반하여 설명 생성을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 VQA-X 데이터셋에서 최신 기술 수준을 달성하였으며, 경쟁적 설명을 재가중함으로써 기준 모델 대비 1.1% 향상된 성능을 기록하였다.
• 제거 실험 결과, 설명 기반 감독 덕분에 표현을 개선함으로써 재가중 없이도 3.6%의 성능 향상이 이루어졌다.
• 인간 오라클 설명 대신 검색된 설명을 사용함으로써 정확도가 0.6% 뿐 떨어지며, 이는 뛰어난 근사 품질을 의미한다.
• 설명 특징을 VQA 예측과 일치시키는 검증 손실을 최소화함으로써, 모델은 더 나은 시각적 및 질문 표현을 학습한다.
• 경쟁 답변에 대한 설명에 기반하여 설명 생성이 향상되었으며, 자동 평가 및 인간 평가 모두에서 이전 최신 기술 수준 모델을 능가하였다.
• 검증 손실의 정규화 구성 요소를 통해 질문 또는 시각적 사전 확률에 대한 과도한 의존도를 방지함으로써, 단기적 학습을 성공적으로 줄였다.