[논문 리뷰] Towards Transparent AI Systems: Interpreting Visual Question Answering Models

Yash Goyal, Akrit Mohapatra외 2명|arXiv (Cornell University)|2016. 08. 31.

Multimodal Machine Learning Applications참고 문헌 15인용 수 43

한 줄 요약

이 논문은 예측 과정에서 모델이 주로 초점을 맞추는 이미지 영역과 질문 단어를 특정하기 위해 가이드드 백프로파게이션과 오큘루션 기법을 사용하여 시각적 질의 응답(VQA) 모델을 해석하는 방법을 제안한다. 조건부로 주의 메커니즘이 없더라도 VQA 모델은 관련된 이미지 영역과 적절한 질문 단어에 암묵적으로 주의를 기울이며, 중요도 맵은 인간의 주의와 중간 정도의 상관관계(0.292)를 보인다.

ABSTRACT

Deep neural networks have shown striking progress and obtained state-of-the-art results in many AI research fields in the recent years. However, it is often unsatisfying to not know why they predict what they do. In this paper, we address the problem of interpreting Visual Question Answering (VQA) models. Specifically, we are interested in finding what part of the input (pixels in images or words in questions) the VQA model focuses on while answering the question. To tackle this problem, we use two visualization techniques -- guided backpropagation and occlusion -- to find important words in the question and important regions in the image. We then present qualitative and quantitative analyses of these importance maps. We found that even without explicit attention mechanisms, VQA models may sometimes be implicitly attending to relevant regions in the image, and often to appropriate words in the question.

연구 동기 및 목표

• 딥 러닝 모델의 투명성 부족 문제, 특히 모델이 블랙박스처럼 행동하는 시각적 질의 응답(VQA) 분야를 해결하기 위해.
• 예측을 내릴 때 VQA 모델이 입력의 어떤 부분(이미지 픽셀 또는 질문 단어)에 의존하는지 조사하기 위해.
• 명시적인 주의 메커니즘이 없더라도 VQA 모델이 관련된 이미지 영역과 적절한 질문 단어에 암묵적으로 주의를 기울이는지 평가하기 위해.
• 시각화 기법을 통해 모델 행동에 대한 해석 가능한 통찰을 제공함으로써 신뢰성과 신뢰도를 향상시키기 위해.

제안 방법

• 이미지 특징과 질문 토큰에 대해 가이드드 백프로파게이션을 적용하여 기울기 기반 중요도 맵을 계산한다.
• 이미지 영역과 질문 단어를 체계적으로 마스킹하여 예측 신뢰도의 변화를 측정함으로써 오큘루션을 사용한다.
• 모델의 최종 예측 레이어에 대해 입력 이미지 특징에 대해 기울기를 계산하여 이미지 중요도 맵을 생성한다.
• 원-핫 인코딩된 질문 토큰에 대해 기울기를 계산하여 질문 중요도 맵을 생성한다.
• 결과로 도출된 중요도 맵을 VQA 데이터셋에서 인간이 애너테이션한 주의 맵과 비교하여 일치도를 평가한다.
• 어휘의 품사(POS) 태그에 따라 중요한 단어의 통계적 분포를 분석하여 언어학적 일관성을 검증한다.

실험 결과

연구 질문

• RQ1 명시적인 주의 메커니즘이 없더라도 VQA 모델이 관련된 이미지 영역에 얼마나 암묵적으로 주의를 기울이는가?
• RQ2 질문에서 예측에 가장 영향을 미치는 단어는 무엇이며, 이는 명사나 wh-형태의 어휘와 같은 언어학적으로 의미 있는 범주와 일치하는가?
• RQ3 모델의 이미지 중요도 맵이 인간이 애너테이션한 주의 맵과 얼마나 잘 상관되는가?
• RQ4 오큘루션 중 예측된 답변의 변화가 모델 실패를 예측할 수 있는가?
• RQ5 품사 태그 분석을 통해 중요도 맵이 질문 의미론적 이해를 일관적으로 반영하는가?

주요 결과

• 가이드드 백프로파게이션은 인간 주의 맵과 상위 순서 상관관계 0.292 ± 0.004를 보이며, 인간의 시각적 초점과 중간 정도의 일치를 나타낸다.
• 오클루전 기반 중요도 맵은 인간 주의 맵과 상위 순서 상관관계 0.173 ± 0.004를 보이며, 더 약한 상관관계이지만 여전히 양의 상관관계를 보인다.
• 질문에서 가장 중요한 단어들은 주로 wh-형태의 어휘, 명사, 형용사였으며, 이는 주의의 의미론적 일관성을 시사한다.
• 어휘가 가장 중요한 비율로 나타나는 확률은 wh-어휘에서 가장 높았고, 그 다음으로 형용사, 명사 순이었으며, 이는 모델의 언어학적 추론 능력을 뒷받침한다.
• 오클루전 중 예측된 답변이 변경된 횟수는 모델 정확도와 상관관계를 보이며, 중요도 맵이 모델 신뢰도를 신호로 줄 수 있음을 시사한다.
• 명시적인 주의 메커니즘이 없더라도 VQA 모델은 관련된 이미지 영역과 의미적으로 유의미한 질문 단어에 암묵적으로 주의를 기울인다.