[논문 리뷰] Yin and Yang: Balancing and Answering Binary Visual Questions

Peng Zhang, Yash Goyal외 3명|arXiv (Cornell University)|2015. 11. 16.

Multimodal Machine Learning Applications참고 문헌 35인용 수 39

한 줄 요약

이 논문은 언어적 편향이 모델이 시각적 이해 없이 답변하게 만드는 것을 방지하기 위해 추상적 장면을 사용하여 균형 잡힌 이진 Visual Question Answering (VQA) 프레임워크를 제안한다. 질문을 시각적 확인 작업으로 재구성함으로써 언어적 분석을 통해 쿼리 개념(P, S, R)을 추출하고, 그 개념이 이미지에 존재하는지 확인함으로써, 편향되지 않은 데이터셋에서 최신 기술 수준의 성능을 달성한다. 기존의 실제 이미지 데이터에 의존하는 모델보다 뛰어난 성능을 보인다.

ABSTRACT

The complex compositional structure of language makes problems at the intersection of vision and language challenging. But language also provides a strong prior that can result in good superficial performance, without the underlying models truly understanding the visual content. This can hinder progress in pushing state of art in the computer vision aspects of multi-modal AI. In this paper, we address binary Visual Question Answering (VQA) on abstract scenes. We formulate this problem as visual verification of concepts inquired in the questions. Specifically, we convert the question to a tuple that concisely summarizes the visual concept to be detected in the image. If the concept can be found in the image, the answer to the question is "yes", and otherwise "no". Abstract scenes play two roles (1) They allow us to focus on the high-level semantics of the VQA task as opposed to the low-level recognition problems, and perhaps more importantly, (2) They provide us the modality to balance the dataset such that language priors are controlled, and the role of vision is essential. In particular, we collect fine-grained pairs of scenes for every question, such that the answer to the question is "yes" for one scene, and "no" for the other for the exact same question. Indeed, language priors alone do not perform better than chance on our balanced dataset. Moreover, our proposed approach matches the performance of a state-of-the-art VQA approach on the unbalanced dataset, and outperforms it on the balanced dataset.

연구 동기 및 목표

• 이진 VQA에서 모델이 이미지를 분석하지 않고도 정답을 맞히는 언어적 편향 문제를 해결하기 위해.
• 동일한 질문에 대해 반대되는 답변을 가진 쌍으로 구성된 추상적 장면을 사용하여 편향되지 않은 데이터셋을 설계하기 위해.
• 질문을 구조화된 구성 요소(P, S, R)로 분석하고, 그 존재 여부를 이미지에서 확인하는 시각적 확인 프레임워크를 개발하기 위해.
• 모델이 훈련 데이터의 이미지와 무관한 통계적 편향을 악용하지 않고 진정으로 시각적 내용을 이해함으로써 균형 잡힌 데이터에서 더 높은 정확도를 달성할 수 있음을 입증하기 위해.

제안 방법

• 질문을 문장의 주어, 목적어, 관계를 나타내는 구조화된 튜플(P, S, R)로 변환하기 위해 스탠포드 의존성 구문 분석기와 품사 태깅을 사용한다.
• P(주어)는 문장의 명사적 주어 또는 피동어 주어로 식별되며, 이후 전치사와 목적어 또는 위치 명사가 따라온다.
• S(목적어)는 P 이후에 나타나는 첫 번째 명사로 추출되며, 이에 연결된 형용사도 포함된다; '앞쪽에'와 같은 특수 구문은 예외로 처리된다.
• R(관계)는 P와 S 이후에 남은 모든 단어에 할당되며, 쿼리와 관련된 동사나 수식어를 포괄한다.
• 모델는 P와 S 구성 요소에 해당하는 이미지 영역에 주의를 기울여, 기술된 개념이 존재하는지 확인함으로써 시각적 확인을 수행한다.
• 시스템은 각 질문이 두 장의 시각적으로 유사한 이미지에서 '예'와 '아니요'로 다른 답변을 가진 쌍으로 구성된 새로운 균형 잡힌 데이터셋을 기반으로 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 추상적 장면을 사용하여 균형 잡힌 데이터셋을 구성함으로써 이진 VQA에서 언어적 편향을 효과적으로 중립화할 수 있는가?
• RQ2 질문의 언어적 분석에 기반한 시각적 확인 접근법이 종래의 엔드 투 엔드 모델 대비 편향 없는 데이터셋에서 성능을 향상시키는가?
• RQ3 모델이 훈련 데이터의 이미지와 무관한 통계적 편향을 악용하지 않고도 이진 VQA에서 높은 정확도를 달성할 수 있는 정도는 어느 정도인가?
• RQ4 질문에서 P, S, R 구성 요소로 이루어진 구조화된 개념 추출이 더 해석 가능하고 정확한 시각적 추론을 이끌 수 있는가?

주요 결과

• 제안된 방법은 비균형적인 MS COCO 기반 VQA 데이터셋에서 최신 기술 수준의 VQA 모델과 동등한 성능을 보이며, 경쟁력 있는 성능을 입증한다.
• 균형 잡힌 데이터셋에서 제안된 방법은 동일한 최신 기술 수준의 모델보다 뚜렷이 뛰어난 성능을 보이며, 이는 모델이 시각적 이해를 활용하고 있음을 증명한다.
• 언어 전용 모델은 질문 통계만으로도 이진 VQA에서 78% 이상의 정확도를 달성함으로써, 존재하는 벤치마크에서의 데이터셋 편향 문제의 심각성을 보여준다.
• 균형 잡힌 데이터셋은 언어적 편향을 제거한다: 언어 전용 모델은 새로운 데이터에서 우연의 수준(50%)으로 성능을 보이며, 통계적 단서의 부재를 확인한다.
• 추상적 장면의 사용은 시각적 이해의 통제된 평가를 가능하게 하며, 저수준 인식 과제로부터 의미적 추론를 분리한다.
• 질문을 P, S, R 구성 요소로 구조화한 분석은 정확한 시각적 확인을 가능하게 하며, 모델의 해석 가능성과 강건성을 향상시킨다.