[논문 리뷰] Neuro-Symbolic Visual Reasoning: Disentangling "Visual" from "Reasoning"

Saeed Amizadeh, Hamid Palangi외 3명|arXiv (Cornell University)|2020. 06. 20.

Multimodal Machine Learning Applications인용 수 26

한 줄 요약

이 논문은 시각적 인식과 추론을 분리하기 위해 기계적 추론 능력을 독립적으로 평가할 수 있도록 하는 가중치 미분 가능한 일阶 논리(∇-FOL)라는 신경-기호 프레임워크를 제안한다. 이는 시각적 입력의 열악한 조건에서도 추론 성능을 향상시키는 상향식 校정 기법을 도입하여 GQA의 하드 서브셋에서 88.51%의 정확도를 달성하며, 시각적 모호성에 대한 강건성을 향상시킨다.

ABSTRACT

Visual reasoning tasks such as visual question answering (VQA) require an interplay of visual perception with reasoning about the question semantics grounded in perception. However, recent advances in this area are still primarily driven by perception improvements (e.g. scene graph generation) rather than reasoning. Neuro-symbolic models such as Neural Module Networks bring the benefits of compositional reasoning to VQA, but they are still entangled with visual representation learning, and thus neural reasoning is hard to improve and assess on its own. To address this, we propose (1) a framework to isolate and evaluate the reasoning aspect of VQA separately from its perception, and (2) a novel top-down calibration technique that allows the model to answer reasoning questions even with imperfect perception. To this end, we introduce a differentiable first-order logic formalism for VQA that explicitly decouples question answering from visual perception. On the challenging GQA dataset, this framework is used to perform in-depth, disentangled comparisons between well-known VQA models leading to informative insights regarding the participating models as well as the task.

연구 동기 및 목표

• 최신 VQA 모델에서 시각적 인식과 추론이 뒤섞여 있어 추론 능력의 평가와 향상이 어렵다는 문제를 해결하기 위해.
• 시각적 인식과 추론을 분리하여, 인식 품질과 무관하게 추론 성능을 체계적으로 평가할 수 있는 방법을 개발하기 위해.
• 객체 검출기가 핵심 속성을 포착하지 못할 경우와 같이, 비완전한 시각적 표현 하에서 VQA 모델이 어떻게 추론하는지 조사하기 위해.
• 특히 시각적 노이즈나 잘못된 분류가 발생할 경우, 쉽게 어려운 예제에서 추론의 일관성과 강건성을 평가하기 위해.
• 시각적 입력이 열악할 때조차도 맥락 기반 프로그램 구조를 활용해 추론 성능을 향상시키는 캘리브레이션 메커니즘을 도입하기 위해.

제안 방법

• 질문에서 유도된 논리 프로그램을 기반으로 하는 복합 추론 과정으로 VQA를 모델링하는 가중치 미분 가능한 일阶 논리 형식 ∇-FOL을 제안한다.
• 시각적 인식을 추론 모듈의 입력으로 진정한 시나리오 그래프를 사용하여 인식과 추론을 분리함으로써 순수한 추론 평가를 가능하게 한다.
• 객체 및 관계 표현을 기반으로 하는 논리 프로그램을 처리하는 가중치 미분 가능한 논리 추론 엔진을 활용하여 엔드 투 엔드 백프로파게이션을 지원한다.
• 논리적 맥락에 기반해 추론 결정을 개선하기 위해 프로그램 구조와 어텐션 메커니즘을 활용하는 상향식 맥락 캘리브레이션 기법을 도입한다.
• 자연어 질문을 논리 프로그램으로 변환할 수 있는 순차-순차 의미 분석기(semantic parser)를 훈련시켜 ∇-FOL 프레임워크와 통합한다.
• 시각적 인식 품질이 다양할 경우의 추론 성능 평가를 위해 GQA 데이터셋의 균형 잡힌 테스트-디브 분할과 하드/이지 서브셋을 사용한다.

실험 결과

연구 질문

• RQ1 VQA에서 추론 능력은 시각적 인식과 얼마나 분리되어 평가될 수 있으며, 이는 모델의 해석 가능성에 어떻게 기여하는가?
• RQ2 객체 검출기가 실패하거나 완전하지 않은 경우, LXMERT나 MAC와 같은 최신 VQA 모델은 추론 과제에서 어떤 성능을 보이는가?
• RQ3 완벽한 시각적 특징이 없더라도 상향식 맥락 캘리브레이션 기법이 추론의 강건성을 향상시킬 수 있는가?
• RQ4 시각적 인식이 열악한 상황에서 논리적으로 관련된 질문들 사이에서 추론 행동의 일관성은 어떻게 유지되며, 이는 모델 신뢰성에 어떤 함의를 갖는가?
• RQ5 비논리적이고 맥락 기반의 추론 메커니즘을 VQA 모델에 도입할 경우 정확도와 일관성 사이의 상충 관계는 어떠한가?

주요 결과

• ∇-FOL 프레임워크는 추론의 분리 평가를 가능하게 하여, LXMERT가 MAC보다 추론 과제에서 뛰어난 성능을 보이며, 특히 시각적으로 어려운 예제에서 하드 서브셋에서 37.82%의 정확도를 기록하는 반면 MAC는 9.20%에 그친다.
• 상향식 캘리브레이션은 하드 서브셋에서 추론 성능을 크게 향상시켜, 캘리브레이션된 ∇-FOL 모델에서 정확도를 6.32%에서 88.51%로 끌어올렸다.
• 이지 서브셋과 하드 서브셋 간의 정확도 격차는 크며(예: LXMERT의 54.76% 대 12.91%), 그러나 일관성 격차는 작아, 모델이 관련 질문들 사이에서 안정된 추론 행동을 유지함을 시사한다.
• 캘리브레이션된 모델는 전체 테스트 세트에서 일관성이 떨어지는 경향을 보이며, 정확도와 논리적 일관성 사이의 상충 관계를 드러낸다.
• 캘리브레이션된 모델는 더 많은 오류를 내보내며, 특히 시각적으로 정보가 많은 예제에서 오류 비율이 높아(Err_e 증가), 논리적 정확성보다 맥락에 과도하게 의존할 위험을 드러낸다.
• 이 연구는 추론 능력이 전체 GQA 정확도로는 완전히 반영되지 않으며, 특히 시각적으로 불완전한 경우의 성능가 시각적 추론 능력 평가에 더 의미 있는 지표임을 확인한다.