[논문 리뷰] VQA-LOL: Visual Question Answering under the Lens of Logic

Tejas Gokhale, Pratyay Banerjee외 2명|arXiv (Cornell University)|2020. 02. 19.

Multimodal Machine Learning Applications참고 문헌 57인용 수 10

한 줄 요약

이 논문은 질문-주의 및 논리-주의 기반 메커니즘을 통해 부정, 결합, 배타적 논리합과 같은 논리 연결사를 명시적으로 모델링하고, 논리적 일관성을 보장하기 위해 프레셰-호환성 손실을 도입함으로써 시각적 질의 응답을 향상시키는 새로운 프레임워크인 VQA-LOL을 제안한다. 이 모델은 논리적으로 조합된 질문에 대한 추론 성능를 크게 향상시키면서도 표준 VQA 벤치마크에서 최신 기술 성능을 유지한다.

ABSTRACT

Logical connectives and their implications on the meaning of a natural language sentence are a fundamental aspect of understanding. In this paper, we investigate whether visual question answering (VQA) systems trained to answer a question about an image, are able to answer the logical composition of multiple such questions. When put under this extit{Lens of Logic}, state-of-the-art VQA models have difficulty in correctly answering these logically composed questions. We construct an augmentation of the VQA dataset as a benchmark, with questions containing logical compositions and linguistic transformations (negation, disjunction, conjunction, and antonyms). We propose our {Lens of Logic (LOL)} model which uses question-attention and logic-attention to understand logical connectives in the question, and a novel Fréchet-Compatibility Loss, which ensures that the answers of the component questions and the composed question are consistent with the inferred logical operation. Our model shows substantial improvement in learning logical compositions while retaining performance on VQA. We suggest this work as a move towards robustness by embedding logical connectives in visual understanding.

연구 동기 및 목표

• 최신 기술 VQA 모델이 부정, 결합, 배타적 논리합을 포함한 논리적으로 조합된 질문을 신뢰성 있게 답변할 수 있는지 조사하기 위해.
• 기존 모델이 논리적 변환을 다루지 못하는 데서 기인하는 실패를 해결하기 위해, 논리적 조합을 포함한 새로운 벤치마크 데이터셋을 구축하기 위해.
• 주의 기반 메커니즘과 새로운 손실 함수를 사용하여 시각적 이해와 논리적 추론을 동시에 학습하는 모델을 개발하기 위해.
• 모델이 단일 논리 연산자로 훈련된 후에도 다중 논리 연산자를 포함한 질문을 다룰 수 있도록 복합 일반화 능력을 향상시키기 위해.

제안 방법

• 저자들은 부정, 결합, 배타적 논리합, 반대어를 사용하여 VQA 데이터셋에 논리적으로 조합된 질문을 추가함으로써 새로운 데이터셋인 VQA-Compose를 도입한다.
• COCO에서의 객체 및 캡션 애너테이션을 활용하여 논리적 조합의 다양성을 향상시키기 위해 보조 데이터셋인 VQA-Supplement를 생성한다.
• 제안된 LOL 모델은 두 가지 주의 기반 메커니즘을 사용한다: 질문-주의를 통해 관련된 이미지 영역을 국소화하고, 논리-주의를 통해 질문 내의 논리 연결사를 식별하고 해석한다.
• 논리적 추론 규칙에 기반하여 구성 질문의 답변과 구성 요소 질문의 답변 간 일관성을 강제하기 위해 새로운 프레셰-호환성 손실이 도입된다.
• 모델은 증강된 데이터셋에서 엔드 투 엔드로 훈련되며, 표준 VQA 작업의 성능를 유지하기 위해 미세조정이 수행된다.
• 이 프레임워크는 복합 일반화를 지원하며, 단일 논리 연산자 질문에서 훈련된 모델이 다중 연산자 조합 질문으로 일반화된다.

실험 결과

연구 질문

• RQ1 최신 기술 VQA 모델은 부정, 결합, 배타적 논리합을 포함한 논리적으로 조합된 질문을 정확히 답변할 수 있는가?
• RQ2 논리적으로 조합된 질문에 대해 명시적 훈련을 수행하면 모델의 논리적 변환에 대한 강건성이 향상되는가?
• RQ3 논리 연결사를 위한 주의 기반 메커니즘으로 훈련된 모델은 새로운 조합의 논리 연산자에 일반화할 수 있는가?
• RQ4 제안된 프레셰-호환성 손실은 답변 예측의 논리적 일관성에 어떻게 기여하는가?
• RQ5 논리적 추론 메커니즘의 통합은 표준 VQA 성능을 저하시키지 않은 채 복합 질문 성능을 향상시키는가?

주요 결과

• VQA-Compose 데이터셋에 대해 미세조정된 LXMERT 모델은 특히 결합 및 부정 질문에서 정확도가 향상되었지만, 배타적 논리합 질문에서는 여전히 성능이 제한되어 있다.
• 질문-주의 및 논리-주의 기반의 LOL 모델은 $Q_1 \wedge Q_2$에서 87.77%의 정확도를, $\neg Q_1$에서 86.43%의 정확도를 기록하여 기준 모델을 크게 능가한다.
• VQA-Supplement 데이터셋에서 LOL 모델은 $\neg Q \wedge \neg C$에서 99.89%의 정확도를 기록하여, 부정된 사실을 포함한 복잡한 논리적 조합에서도 뛰어난 성능을 보였다.
• 모델는 강력한 복합 일반화 능력을 보였다: 단일 연산자 질문에서 훈련된 후에도 다중 연산자 질문으로의 일반화에 있어 성능 저하가 최소한이었다.
• 프레셰-호환성 손실은 논리적 일관성을 효과적으로 향상시켰으며, 이는 이 손실이 없는 모델에 비해 논리적으로 복잡한 질문에서 더 높은 정확도를 기록한 것으로 확인되었다.
• 연구 결과, 부정되거나 반대어 문장이 포함된 배타적 논리합 질문(예: $Q \vee \neg B$)은 특히 도전적이며, 기준 모델에서 정확도가 크게 떨어지는 것으로 드러났다.