[논문 리뷰] An Analysis of Visual Question Answering Algorithms

Kushal Kafle, Christopher Kanan|arXiv (Cornell University)|2017. 03. 28.

Multimodal Machine Learning Applications참고 문헌 35인용 수 22

한 줄 요약

이 논문은 12개의 카테고리에 걸쳐 총 160만 개의 질문을 포함한 새로운 VQA 벤치마크인 작업 기반 이미지 이해 도전 대회(TDIUC)를 소개한다. 이는 추론 능력을 시험하기 위해 비합리적인 질문도 포함한다. 편향 보정 평가 지표를 제안하고, 데이터셋 편향으로 인해 단순한 모델이 더 복잡한 모델보다 성능이 뛰어나게 되는 것을 입증하며, 특히 색상 및 세는 것과 같은 개체 국소화 작업에서는 주의 메커니즘이 성능을 크게 향상시킨다.

ABSTRACT

In visual question answering (VQA), an algorithm must answer text-based questions about images. While multiple datasets for VQA have been created since late 2014, they all have flaws in both their content and the way algorithms are evaluated on them. As a result, evaluation scores are inflated and predominantly determined by answering easier questions, making it difficult to compare different methods. In this paper, we analyze existing VQA algorithms using a new dataset. It contains over 1.6 million questions organized into 12 different categories. We also introduce questions that are meaningless for a given image to force a VQA system to reason about image content. We propose new evaluation schemes that compensate for over-represented question-types and make it easier to study the strengths and weaknesses of algorithms. We analyze the performance of both baseline and state-of-the-art VQA models, including multi-modal compact bilinear pooling (MCB), neural module networks, and recurrent answering units. Our experiments establish how attention helps certain categories more than others, determine which models work better than others, and explain how simple models (e.g. MLP) can surpass more complex models (MCB) by simply learning to answer large, easy question categories.

연구 동기 및 목표

• 기존 VQA 벤치마크에서의 데이터셋 편향 문제를 다스리며, 이로 인해 성능 점수가 과도하게 높아지고 알고리즘 간 공정한 비교가 어렵게 되는 문제를 해결한다.
• 12개의 명시적으로 정의된 질문 유형을 포함한 새로운 VQA 데이터셋(TDIUC)을 개발하여 알고리즘 능력의 세분화된 분석을 가능하게 한다.
• 과도하게 빈번한 질문 유형과 비균형적인 답변 분포로 인한 편향을 보완하기 위해 평가 지표를 제안하여 성능 평가의 공정성을 향상시킨다.
• VQA 모델이 비합리적인 질문을 탐지하고, 유효한 이미지-질문 쌍과 무효한 쌍을 구분할 수 있는지 조사한다.
• 주의 메커니즘과 모델 아키텍처가 다양한 질문 유형에 걸쳐 성능에 미치는 영향을 분석한다.

제안 방법

• 시각적 추론 작업 기반으로 12개의 서로 다른 카테고리로 나누어진 160만 개의 질문을 포함한 새로운 VQA 데이터셋인 TDIUC를 구축했다.
• 주어진 이미지에 대해 논리적으로 타당하지 않은 질문인 '비합리적인 질문'을 포함시켜, 모델이 언어 패턴에 의존하기보다 이미지 내용을 진짜로 추론할 수 있는지 평가한다.
• 편향을 줄이기 위해 두 가지 새로운 평가 지표인 평균-클래스 정확도와 정규화된 정확도를 제안했다.
• 개체 존재 질문에서 '예/아니오' 답변의 분포를 균형 있게 조정하여 레이블 불균형이 모델 일반화 능력에 미치는 영향을 평가했다.
• MLP, MCB, MCB-A, RAU, NMN 등의 다양한 모델을 전체 TDIUC와 부분 집합에 대해 훈련 및 평가하여 질문 유형 간 성능를 비교했다.
• 주의 메커니즘(예: MCB-A 및 RAU에서 사용)을 활용해 관련된 이미지 영역을 국소화하고, 개체에 의존하는 질문 유형에서의 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 기존 VQA 벤치마크에서의 데이터셋 편향이 알고리즘 성능 비교의 공정성을 얼마나 심각하게 저해하는가?
• RQ2 VQA 모델은 주어진 이미지에 대해 비합리적인 질문을 효과적으로 탐지할 수 있는가? 이는 진정으로 추론하는 능력인지, 패턴 매칭에 의존하는지의 여부를 시사한다.
• RQ3 어느 질문 유형이 주의 메커니즘으로부터 가장 큰 이점을 얻는가? 그리고 주의 메커니즘이 특정 시각적 추론 작업에서 성능을 어떻게 향상시키는가?
• RQ4 왜 일부 경우에서 더 단순한 모델(MLP)이 더 복잡한 모델(MCB)보다 성능이 뛰어나게 되는가? 이는 데이터셋 편향 때문인가?
• RQ5 개체 존재 질문에서 '예/아니오' 답변 분포를 균형 있게 조정하면, 모델의 일반화 능력과 희귀 질문 유형에 대한 성능에 어떤 영향을 미치는가?

주요 결과

• 비합리적인 질문이 포함되지 않은 상태에서 훈련된 Q+I 모델은 활동 인식에서 48%의 정확도를 기록했지만, 비합리적인 질문이 포함된 훈련을 거친 후에는 정확도가 24%로 떨어져 실제 질문과 비합리적인 질문을 구분하지 못하는 것으로 나타났다.
• MCB 모델은 전체 TDIUC 데이터셋에서 68.83%의 정확도를 기록하여 MLP(62.44%)와 Q+I(61.34%)와 같은 단순한 모델보다 뛰어난 성능을 보였지만, 고빈도로 나타나는 쉬운 질문에 과적합된 탓에 일부 카테고리에서는 Q+I 모델이 성능을 뛰어넘었다.
• 주의 메커니즘(MCB-A)은 개체 국소화 작업에서 성능을 크게 향상시켰다: 색상 인식(+12.5%), 특성 인식(+10.3%), 세는 것(+11.2%)에서 비주의 기반 MCB보다 높은 성능을 기록했다.
• 개체 존재 질문에서 '예/아니오' 답변 분포를 균형 있게 조정함으로써 MCB-A의 성능은 '아니오' 답변에 대해 11.2%에서 재훈련 후 92.26%로 상승했으며, 이는 훈련 데이터의 편향이 일반화 능력을 심각하게 제한한다는 것을 입증했다.
• RAU 모델은 비합리적인 질문을 탐지하는 데 뛰어난 성능을 보였고, 전체 TDIUC에서 68.83%의 정확도를 기록하여 NMN보다 뛰어났다. NMN는 복잡한 질문의 S-표현식 파싱 오류로 인해 어려움을 겪었다.
• 질문 유형이 비균형인 데이터셋(예: COCO-VQA)에서 훈련된 모델는 '왜'나 '어디서'와 같은 희귀 질문 유형에 대해 성능이 열악한데도 불구하고 전체 정확도는 높게 나오는 경향이 있어, 기존 평가 지표의 한계를 드러냈다.