[논문 리뷰] Tell-and-Answer: Towards Explainable Visual Question Answering using Attributes and Captions

Qing Li, Jianlong Fu외 3명|arXiv (Cornell University)|2018. 01. 27.

Multimodal Machine Learning Applications참고 문헌 35인용 수 13

한 줄 요약

이 논문은 이미지 이해를 '설명하기'(속성 및 캡션 생성)와 '이해하기'(답안 예측)로 분리하는 이중 단계형 해석 가능한 시각질문응답(VQA) 프레임워크를 제안한다. 인간이 이해할 수 있는 속성과 캡션을 사전 훈련된 모델을 통해 중간 설명으로 생성함으로써, 모델의 결정에 대한 투명성과 오류 진단 능력을 확보하면서도 최신 기술 수준의 VQA 성능을 달성하며, 설명의 질이 향상될수록 성능이 향상된다.

ABSTRACT

Visual Question Answering (VQA) has attracted attention from both computer vision and natural language processing communities. Most existing approaches adopt the pipeline of representing an image via pre-trained CNNs, and then using the uninterpretable CNN features in conjunction with the question to predict the answer. Although such end-to-end models might report promising performance, they rarely provide any insight, apart from the answer, into the VQA process. In this work, we propose to break up the end-to-end VQA into two steps: explaining and reasoning, in an attempt towards a more explainable VQA by shedding light on the intermediate results between these two steps. To that end, we first extract attributes and generate descriptions as explanations for an image using pre-trained attribute detectors and image captioning models, respectively. Next, a reasoning module utilizes these explanations in place of the image to infer an answer to the question. The advantages of such a breakdown include: (1) the attributes and captions can reflect what the system extracts from the image, thus can provide some explanations for the predicted answer; (2) these intermediate results can help us identify the inabilities of both the image understanding part and the answer inference part when the predicted answer is wrong. We conduct extensive experiments on a popular VQA dataset and dissect all results according to several measurements of the explanation quality. Our system achieves comparable performance with the state-of-the-art, yet with added benefits of explainability and the inherent ability to further improve with higher quality explanations.

연구 동기 및 목표

• 종합적인 VQA 모델에서 해석이 불가능한 예측을 내는 문제를 해결하기 위해.
• 이미지 이해(설명하기)와 답변 추론(이해하기)를 분리하여 오류 위치 특정을 가능하게 하기 위해.
• 모델이 이미지에서 추출한 내용을 반영한 인간이 읽을 수 있는 설명(속성 및 캡션)을 제공하기 위해.
• 모델의 오류가 열악한 이미지 이해에서 기인하는지 혹은 잘못된 추론에서 기인하는지, 특히 데이터셋 편향으로 인한 경우를 식별하기 위해.
• 성능 향상이 더 높은 품질의 중간 설명에 따라 이루어지는 확장 가능한 VQA 프레임워크를 구축하기 위해.

제안 방법

• 먼저, 사전 훈련된 속성 검출기들이 입력 이미지에서 단어 수준의 속성(예: '여자', '휴대폰', '앉아 있는')을 추출한다.
• 둘째, 사전 훈련된 이미지 캡션 모델이 객체 간 관계를 반영한 문장 수준의 기술(예: '여자가 벤치에 앉아 있음')을 생성한다.
• 이러한 속성과 캡션은 이후 LSTMs 기반의 추론 모듈에 입력으로 사용되어 질문에 대한 답을 예측한다.
• 추론 모듈은 원시적인 CNN 특징 대신 생성된 설명을 사용함으로써 의미 수준의 추론이 가능해진다.
• 이 프레임워크는 설명에 핵심 정보가 누락되었는지 또는 추론 단계에서 잘못 추론되었는지 확인함으로써 오류 분석이 가능하다.
• 설명의 질(예: 질문과의 관련성)과 테스트 분할 전체에 걸친 VQA 정확도를 측정하는 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 속성과 캡션을 사용하는 이중 단계형 VQA 프레임워크가 성능을 희생시키지 않고도 모델의 해석 가능성을 향상시킬 수 있는가?
• RQ2 생성된 속성과 캡션의 품질이 VQA 정확도와 어느 정도 상관관계를 가지는가?
• RQ3 이 프레임워크는 열악한 이미지 이해와 잘못된 추론에서 기인한 오류를 구분할 수 있는가?
• RQ4 설명이 질문과 일치하지 않을 경우, 시스템은 훈련 세트의 편향에 의존하는지 감지하고 저항할 수 있는가?
• RQ5 중간 설명의 품질을 향상시킴으로써 시스템의 성능을 체계적으로 향상시킬 수 있는가?

주요 결과

• 속성과 캡션을 모두 사용한 전체 VQA 모델은 테스트-개발 정확도 60.07%와 테스트-표준 정확도 60.07%를 기록하여 최신 기술 수준의 성능을 달성했다.
• 문장 기반 설명(캡션)이 단어 기반 설명(속성만)보다 성능이 뛰어나, 추론에서 관계적 맥락의 중요성을 시사한다.
• 고차원적 특징과 외부 데이터를 사용하는 MCB-ensemble 모델과 유사한 성능을 달성했지만, 추가로 해석 가능성의 이점을 지녔다.
• 설명이 질문과 관련이 없을 경우에도 일부 사례에서는 높은 신뢰도로 '예'라고 예측하는 등, 데이터셋 편향에 의존하는 경향을 드러냈다.
• 정확한 설명이 제공된 경우, 잘못된 답변의 80%가 잘못된 추론에서 기인한 것으로 정확히 식별되었으며, 이는 효과적인 오류 위치 특정 능력을 보여준다.
• 향후 확장 가능성을 위해, 향상된 속성 검출기와 캡션 생성 모델이 직접적으로 VQA 성능 향상에 기여할 수 있음을 입증했다.