[논문 리뷰] LRTA: A Transparent Neural-Symbolic Reasoning Framework with Modular Supervision for Visual Question Answering

Weixin Liang, Feiyang Niu외 3명|arXiv (Cornell University)|2020. 11. 21.

Multimodal Machine Learning Applications참고 문헌 45인용 수 11

한 줄 요약

LRTA는 시각적 질의 응답(VQA)를 위해 투명하고 모듈러한 신경-기호 프레임워크를 제안하며, 단계적으로 '보기'(스냅샷 생성), '읽기'(질문 분석), '생각하기'(반복 실행을 통한 단계적 추론), '답변하기'(자연어 근거 생성)를 통해 인간의 추론 방식을 모방한다. 이는 GQA에서 전체 답변 생성 과제에서 43.1%의 정확도를 달성하여 기존 최고 성능(SOTA) 모델을 크게 앞서며, 언어적 왜곡에 대해 뛰어난 내성성을 보이며 표면적 상관관계가 아닌 깊은 이해를 하고 있음을 시사한다.

ABSTRACT

The predominant approach to visual question answering (VQA) relies on encoding the image and question with a "black-box" neural encoder and decoding a single token as the answer like "yes" or "no". Despite this approach's strong quantitative results, it struggles to come up with intuitive, human-readable forms of justification for the prediction process. To address this insufficiency, we reformulate VQA as a full answer generation task, which requires the model to justify its predictions in natural language. We propose LRTA [Look, Read, Think, Answer], a transparent neural-symbolic reasoning framework for visual question answering that solves the problem step-by-step like humans and provides human-readable form of justification at each step. Specifically, LRTA learns to first convert an image into a scene graph and parse a question into multiple reasoning instructions. It then executes the reasoning instructions one at a time by traversing the scene graph using a recurrent neural-symbolic execution module. Finally, it generates a full answer to the given question with natural language justifications. Our experiments on GQA dataset show that LRTA outperforms the state-of-the-art model by a large margin (43.1% v.s. 28.0%) on the full answer generation task. We also create a perturbed GQA test set by removing linguistic cues (attributes and relations) in the questions for analyzing whether a model is having a smart guess with superficial data correlations. We show that LRTA makes a step towards truly understanding the question while the state-of-the-art model tends to learn superficial correlations from the training data.

연구 동기 및 목표

• 단일 토큰 답변만 생성하는 투명하지 못한 블랙박스 VQA 모델의 설명 불가능성 문제를 해결하기 위해.
• 더 나은 해석 가능성을 위해 VQA를 전체 답변 생성 과제로 재정의하고 자연어 근거를 제공하기 위해.
• 오류 위치 특정과 인간이 읽을 수 있는 추론 흐름을 가능하게 하는 모듈러하고 종단간 훈련 가능한 프레임워크를 개발하기 위해.
• 진정한 이해인지 표면적 상관관계 학습인지 평가하기 위해 언어적 왜곡(특성 및 관계 제거)에 대한 모델의 내성성 평가를 위해.
• 정확도 지표를 넘어서 모델 추론을 점검하기 위한 왜곡된 GQA 테스트 세트를 만들기 위해.

제안 방법

• LRTA는 입력 이미지를 객체와 그 관계의 구조적 표현으로 변환하는 스냅샷 생성 모듈을 사용한다.
• 의미 분석 모듈은 각 질문을 '버거를 쥔 사람을 찾기'와 같은 다수의 추론 지시어로 분해한다.
• 반복 신경-기호 실행 엔진은 각 지시어를 스냅샷 그래프를 단계별로 탐색하면서 추론을 위한 은닉 상태를 유지한다.
• 모든 모듈은 기호적 출력이 아닌 은닉 상태를 통해 연결되어 있어 원시 픽셀에서 전체 답변에 이르기까지 종단간 훈련이 가능하다.
• 자연어 생성 모듈은 중간 추론 단계를 바탕으로 최종 답변과 상세 근거를 통합한다.
• 모델은 종단간 훈련되며, 언어적 단서(특성, 관계)가 체계적으로 마스킹된 왜곡된 GQA 테스트 세트를 사용해 평가된다.

실험 결과

연구 질문

• RQ1 신경-기호 VQA 프레임워크는 각 추론 단계에서 인간이 읽을 수 있는 근거를 제공하면서도 전체 답변 생성 과제에서 더 높은 성능을 달성할 수 있는가?
• RQ2 LRTA의 모듈러하고 단계적인 추론 과정은 블랙박스 모델에 비해 언어적 왜곡에 더 뛰어난 내성성을 보이는가?
• RQ3 특성나 관계가 마스킹될 때 성능 저하가 얼마나 발생하는가를 통해 LRTA가 표면적 통계적 상관관계에 얼마나 의존하는가를 어느 정도 측정할 수 있는가?
• RQ4 객체 검출을 넘어서 스냅샷 그래프의 활용이 VQA 성능 향상과 해석 가능성 향상에 얼마나 효과적인가?
• RQ5 시각적 온톨로지(정답 스냅샷 그래프)는 LRTA 프레임워크의 이론적 잠재력을 어떻게 입증할 수 있는가?

주요 결과

• LRTA는 GQA 데이터셋에서 전체 답변 생성 과제에서 43.1%의 정확도를 달성하여 SOTA 모델인 LXMERT보다 15.1个百分点 높다.
• 특성과 관계와 같은 언어적 단서가 마스킹될 경우 LRTA의 성능은 각각 21.03%와 26.20% 감소하여 의미적 내용에 더 강하게 의존함을 시사한다.
• 반면 LXMERT의 성능은 특성 마스킹 시에만 9.41% 감소하고 관계 마스킹 시 19.43% 감소하여 표면적 데이터 상관관계를 더 많이 악용하고 있음을 나타낸다.
• 시각적 온톨로지(정답 스냅샷 그래프)를 사용할 경우 LRTA의 단답형 답변 정확도는 93.1%에 달하고 전체 답변 정확도는 85.99%에 이르며, 이는 이론적 상한선 96%에 근접한다.
• 왜곡된 GQA 테스트 세트는 모델 행동을 효과적으로 드러내었으며, LRTA의 추론이 LXMERT의 패턴 기반 추측과 비교해 더 내성적이고 진정한 이해에 부합함을 보여준다.