[논문 리뷰] Faithful Multimodal Explanation for Visual Question Answering

Jialin Wu, Raymond J. Mooney|arXiv (Cornell University)|2018. 09. 08.

Multimodal Machine Learning Applications참고 문헌 32인용 수 9

한 줄 요약

이 논문은 시각질문응답(VQA)를 위한 충실도 높은 다중모달 설명 프레임워크를 제안하며, VQA 모델이 실제로 주목한 이미지 영역과 연결된 텍스트 설명을 통합한다. Grad-CAM를 통해 VQA 시스템의 주목과 일치하는 인간의 설명을 훈련에 활용하고, 답변의 시각적 설명과 설명 간의 일치를 강제함으로써 이전 방법보다 훨씬 높은 충실도와 인간의 이해도를 달성한다. VQA-X 벤치마크에서 충실도가 17% 감소하고, 충실도 점수는 56%에 달한다.

ABSTRACT

AI systems' ability to explain their reasoning is critical to their utility and trustworthiness. Deep neural networks have enabled significant progress on many challenging problems such as visual question answering (VQA). However, most of them are opaque black boxes with limited explanatory capability. This paper presents a novel approach to developing a high-performing VQA system that can elucidate its answers with integrated textual and visual explanations that faithfully reflect important aspects of its underlying reasoning while capturing the style of comprehensible human explanations. Extensive experimental evaluation demonstrates the advantages of this approach compared to competing methods with both automatic evaluation metrics and human evaluation metrics.

연구 동기 및 목표

• 모델의 실제 추론 과정을 반영하는 설명을 생성하는 VQA 시스템을 개발한다. 단순히 인간의 설명을 모방하는 것이 아니라.
• 텍스트 설명이 예측 과정에서 실제로 주목한 시각적 특징과 충실도를 유지하도록 보장한다.
• 말어린 설명이 추론에 사용된 관련된 이미지 영역을 가리키도록 시각적 및 텍스트적 설명을 통합한다.
• 시스템의 추론 과정을 투명하고 이해하기 쉽게 만들어 사용자 신뢰를 높인다.
• 자동 메트릭(LIME, Grad-CAM)과 인간 평가를 통해 충실도를 평가한다.

제안 방법

• 모델는 밑에서부터 위로의 주목(attention)을 사용하는 사전학습된 VQA 모듈을 사용하여 답변 예측과 관련된 이미지 영역을 주목한다.
• 질문, 답변, VQA가 주목한 시각적 특징을 조건으로 삼아 순서 모델을 사용해 텍스트 설명을 생성한다.
• 훈련 중에는 Grad-CAM 기반의 시각적 설명 일치를 통해 VQA 모델의 주목과 일치하는 인간의 설명만 사용된다.
• 텍스트 설명의 기울기 기반 시각적 설명과 예측된 답변의 기울기 기반 시각적 설명 간의 일치를 위해 충실도 손실 $\mathcal{L}_f$ 를 도입한다.
• 설명어어가 실제로 주목한 시각적 객체를 가리키도록 기울기 기반 방법(Grad-CAM)을 통해 이미지 세그먼트와 연결한다.
• LIME를 사용해 주목 영역의 충실도를 검증함으로써 VQA 모델의 주목과 일치하지 않는 설명은 필터링한다.

실험 결과

연구 질문

• RQ1 다중모달 설명 시스템은 VQA 모델이 실제로 주목한 실제 시각적 특징에 충실한 텍스트 설명을 생성할 수 있는가?
• RQ2 VQA 모델의 주목과 설명의 시각적 초점 간 일치를 강제로 적용할 경우 충실도는 어떻게 향상되는가?
• RQ3 모델의 추론과 일치하는 인간의 애너테이션된 설명은 무작위로 선택된 설명보다 설명 품질을 얼마나 향상시키는가?
• RQ4 자동 충실도 메트릭(LIME 및 Grad-CAM)은 다중모달 설명의 충실도를 신뢰성 있게 측정할 수 있는가?
• RQ5 시각적 설명과 텍스트 설명의 통합은 인간의 이해도와 VQA 시스템에 대한 신뢰도를 향상시키는가?

주요 결과

• Grad-CAM 일치성에 의해 필터링된 충실도 있는 인간 설명만을 사용함으로써, K=1일 때 LIME 기반 충실도 점수가 랜덤 기준 0.588에서 0.636으로 향상되었고, 충실도 손실을 추가함으로써 추가로 향상되었다.
• 충실도 손실 $\mathcal{L}_f$ 를 추가함으로써 Grad-CAM 기반 충실도 점수가 필터링된 0.45에서 0.56으로 상승하여 상대적 11% 향상되었다.
• 설명과 답변의 시각적 설명 간余弦 유사도 분포를 분석한 결과, 충실도 있는 설명과 $\mathcal{L}_f$ 를 사용할 경우 0.1 이하의 점수 비율이 17% 감소하여 충실도가 낮은 경우가 줄어들었다.
• 필터링된 설명과 $\mathcal{L}_f$ 를 사용할 경우 K=1일 때 LIME 기반 충실도 점수가 0.686에 도달하여 영향력 있는 이미지 영역과 강한 일치를 보였다.
• 인간 평가 결과, 이전 방법에 비해 설명이 더 이해하기 쉽고 충실도가 높았으며, 특히 단어가 관련된 이미지 영역을 정확히 가리키는 데서 두드러졌다.
• 자동 메트릭과 인간 평가 모두에서 기준 모델을 능가함으로써, 충실도가 VQA 시스템의 신뢰성과 해석 가능성 향상에 기여함을 확인했다.