[논문 리뷰] Object-Centric Diagnosis of Visual Reasoning

Jianwei Yang, Jiayuan Mao외 5명|arXiv (Cornell University)|2020. 12. 21.

Multimodal Machine Learning Applications참고 문헌 60인용 수 10

한 줄 요약

이 논문은 GQA 데이터셋을 사용하여 시각적 질의 응답(VQA)를 위한 객체 중심 진단 프레임워크를 제안하며, 단계별 객체 주석을 통해 지도 및 내성성에 대한 모델 평가를 수행한다. 신경-기호 모델인 그래프 추론 기계(Graph Reasoning Machine)를 제안하여 확률적 시나리오 그래프와 교사-강요 학습을 활용해 투명성과 추론 정확도를 향상시키며, 기존 기호 모델보다 우수한 성능을 달성하면서도 해석 가능성은 유지한다.

ABSTRACT

When answering questions about an image, it not only needs knowing what -- understanding the fine-grained contents (e.g., objects, relationships) in the image, but also telling why -- reasoning over grounding visual cues to derive the answer for a question. Over the last few years, we have seen significant progress on visual question answering. Though impressive as the accuracy grows, it still lags behind to get knowing whether these models are undertaking grounding visual reasoning or just leveraging spurious correlations in the training data. Recently, a number of works have attempted to answer this question from perspectives such as grounding and robustness. However, most of them are either focusing on the language side or coarsely studying the pixel-level attention maps. In this paper, by leveraging the step-wise object grounding annotations provided in the GQA dataset, we first present a systematical object-centric diagnosis of visual reasoning on grounding and robustness, particularly on the vision side. According to the extensive comparisons across different models, we find that even models with high accuracy are not good at grounding objects precisely, nor robust to visual content perturbations. In contrast, symbolic and modular models have a relatively better grounding and robustness, though at the cost of accuracy. To reconcile these different aspects, we further develop a diagnostic model, namely Graph Reasoning Machine. Our model replaces purely symbolic visual representation with probabilistic scene graph and then applies teacher-forcing training for the visual reasoning module. The designed model improves the performance on all three metrics over the vanilla neural-symbolic model while inheriting the transparency. Further ablation studies suggest that this improvement is mainly due to more accurate image understanding and proper intermediate reasoning supervisions.

연구 동기 및 목표

• 시각적 추론 모델을 대상으로 지도 및 내성성에 중점을 두어 체계적이고 객체 중심의 평가 프레임워크를 개발한다.
• 높은 정확도를 보이는 VQA 모델이 간단한 시각적 추론 작업에서 여전히 실패하는 이유를 진단한다.
• 특히 시각적 지도 및 시각적 변형에 대한 민감성 측면에서 현재 모델의 한계를 특정한다.
• 해석 가능성을 유지하면서 추론 정확도를 향상시키는 투명한 신경-기호 모델을 설계한다.
• 특히 시나리오 그래프 정확도와 애매한 주석과 관련된 원인으로 인한 시각적 추론의 실패 모드를 분석한다.

제안 방법

• GQA 데이터셋의 단계별 객체 지도 주석을 활용하여 지도 및 내성성에 대한 정확한 지표를 정의한다.
• 세 모듈로 구성된 시스템인 그래프 추론 기계를 제안: 시나리오 그래프 생성기, 프로그램 생성기, 프로그램 실행기.
• 실제 이미지에서 유도된 확률적 시나리오 그래프로 고정된 기호적 시나리오 그래프를 대체하여 시각적 변동에 대한 내성성을 향상시킨다.
• 학습 안정성 향상과 중간 단계의 감독 강화를 위해 시각적 추론 모듈에 교사-강요 학습을 적용한다.
• 신경, 모듈러, 기호 아키텍처를 포함한 다양한 모델 간의 지도 정확도와 내성성에 대한 정량적 지표를 비교한다.
• 이미지 이해 및 중간 단계 추론 감독의 기여도를 분리하기 위해 추론 분석을 수행한다.

실험 결과

연구 질문

• RQ1 높은 정확도를 보이는 VQA 모델이 실제로 정확한 시각적 객체에 자신의 추론을 지도하고 있는가?
• RQ2 배경 객체를 가림과 같은 외란에 대해 VQA 모델은 어느 정도 내성적인가?
• RQ3 신경-기호 모델은 정확도가 다소 떨어지더라도 순수 신경 모델보다 더 나은 지도 및 내성성을 달성할 수 있는가?
• RQ4 시각적 추론 모델의 주요 실패 모드는 무엇이며, 시나리오 그래프 품질과 주석의 애매함과 어떤 관련이 있는가?
• RQ5 중간 단계 추론 감독을 통합하면 시각적 추론에서 정확도와 해석 가능성 모두 향상되는가?

주요 결과

• GQA에서 높은 정확도를 기록하는 모델들 역시 배경 객체가 가려질 경우 일관성 없는 예측을 보이며, 객체 지도가 정확하지 않음을 확인한다.
• 모델들은 배경 외란에 취약하다: 비대상 객체를 가리면 답변이 뒤바뀌는 경우가 있어 추론의 일관성이 떨어짐을 시사한다.
• 기호 및 모듈러 모델은 종합 정확도가 낮지만, 엔드 투 엔드 신경 모델보다 더 나은 지도 및 내성성을 보인다.
• 제안된 그래프 추론 기계는 정확도, 지도, 내성성의 세 가지 지표에서 기존의 순수 신경-기호 모델보다 성능 향상을 이룬다. 해석 가능성은 유지된다.
• 추론 분석 결과, 개선된 이미지 이해와 중간 단계 추론 감독이 그래프 추론 기계의 성능 향상에 핵심적인 역할을 한다.
• 실패 분석 결과, 시나리오 그래프 생성의 결함—특히 객체 검출 부족(mAP 4.85)과 관계 검출 약화—가 오류의 주요 원인임을 확인했으며, 75% 이상의 실패 사례에서 '관계 설정(relate)' 연산이 관련되어 있었다.