[논문 리뷰] Answer Them All! Toward Universal Visual Question Answering Models

Robik Shrestha, Kushal Kafle외 1명|arXiv (Cornell University)|2019. 03. 01.

Multimodal Machine Learning Applications참고 문헌 56인용 수 6

한 줄 요약

이 논문은 자연 이미지(e.g., VQAv2, TDIUC)와 합성 추론(e.g., CLEVR, CoGenT) 데이터셋 모두에서 최고 수준 또는 경쟁 가능한 성능을 달성하는 통합된 시각질문응답(VQA) 모델인 RAMEN을 제안한다. 시각적 특징과 텍스트 특징의 조기 융합 및 양방향 GRU를 통한 다중모odal 통합을 통해 RAMEN은 도메인 간에 효과적으로 일반화되며, 양 대안 모델보다도 뛰어난 성능을 보이며 단순한 아키텍처가 복잡한 편향 활용 모델에 뒤지지 않음을 입증한다.

ABSTRACT

Visual Question Answering (VQA) research is split into two camps: the first focuses on VQA datasets that require natural image understanding and the second focuses on synthetic datasets that test reasoning. A good VQA algorithm should be capable of both, but only a few VQA algorithms are tested in this manner. We compare five state-of-the-art VQA algorithms across eight VQA datasets covering both domains. To make the comparison fair, all of the models are standardized as much as possible, e.g., they use the same visual features, answer vocabularies, etc. We find that methods do not generalize across the two domains. To address this problem, we propose a new VQA algorithm that rivals or exceeds the state-of-the-art for both domains.

연구 동기 및 목표

• 최고 수준의 VQA 모델이 자연 이미지와 합성 추론 데이터셋 간에 일반화되는가를 조사하기 위해.
• 기존 VQA 모델에서 낮은 도메인 간 일반화 성능의 근본 원인을 규명하기 위해.
• 자연 이미지 및 합성 벤치마크 양쪽에서 경쟁적인 성능을 내는 통합 VQA 모델을 제안하기 위해.
• 공정한 비교를 위해 모든 모델이 동일한 시각적 특징과 답변 어휘를 사용하도록 표준화하기 위해.

제안 방법

• RAMEN은 시각적 특징(지역 제안에서 유래)과 텍스트 임베딩을 처리하기 전에 이들을 조기 융합하여 연결한다.
• 양방향 게이팅 순환 단위(bi-GRU)를 사용하여 시간에 따라 다중모달 표현을 통합하고 개선한다.
• 모델은 초기 특징 표현을 위해 평균 풀링을 사용하고, bi-GRU를 통해 비최대 억제를 적용하여 중복된 제안을 줄인다.
• 모든 모델은 동일한 시각적 특징(Faster R-CNN 특징)과 답변 어휘를 사용하여 표준화되어 공정한 비교가 가능하도록 한다.
• 제거 분석(Ablation studies)을 통해 조기 융합, 후기 융합, 그리고 통합 메커니즘의 기여도를 분리하여 분석한다.
• 공통 구성 요소를 공유하면서 다수의 데이터셋에 대해 엔드 투 엔드로 훈련하여 도메인에 관계없는 추론을 촉진한다.

실험 결과

연구 질문

• RQ1 합성 데이터셋에서 훈련된 최고 수준의 VQA 모델이 자연 이미지 VQA 벤치마크로 일반화되는가, 반대로 자연 이미지에서 훈련된 모델이 합성 추론 벤치마크로 일반화되는가?
• RQ2 VQA 모델에서 도메인 간 일반화에 핵심적인 구성 요소는 무엇인가?
• RQ3 단일 통합 아키텍처가 자연 이미지 및 합성 추론 VQA 데이터셋 양쪽에서 최고 성능을 달성할 수 있는가?
• RQ4 조기 융합 및 bi-GRU 통합과 같은 모델 구성 요소가 도메인 간 성능 향상에 얼마나 기여하는가?

주요 결과

• RAMEN은 CLEVR에서 95.6%의 정확도와 VQAv2에서 76.8%의 정확도를 달성하여 두 벤치마크에서 최고 수준의 모델에 맞먹거나 초월한다.
• 조기 융합을 제거하면 CLEVR에서 정확도가 20%p 감소하고 VQAv2에서는 4%p 감소하여 그 중요성을 입증한다.
• 후기 융합은 성능에 미미한 영향을 미쳐 조기 통합이 추론 작업에 더 효과적임을 시사한다.
• bi-GRU 통합 메커니즘이 평균 풀링보다 성능을 향상시키며, 상호작용을 모델링하고 중복을 억제하기 때문일 것이다.
• 모든 평가된 모델이 CVQA와 VQACPv2와 같은 OOD 벤치마크에서 빈약한 일반화 성능을 보이며, 데이터셋 편향에 의존함을 시사한다.
• 기존의 어떤 모델도 양 도메인에서 잘 작동하지 않아 통합적이고 일반화 가능한 아키텍처의 필요성을 강조한다.