[논문 리뷰] Understanding Image Captioning Models beyond Visualizing Attention

Jiamei Sun, Sebastian Lapuschkin외 2명|arXiv (Cornell University)|2020. 01. 04.

Multimodal Machine Learning Applications참고 문헌 100인용 수 8

한 줄 요약

이 논문은 주의 메커니즘을 갖춘 이미지 캡션 모델을 대상으로 고도화된 설명 방법—적응형 LRP와 기울기 기반 기법—을 제안하고 평가하여, 주의 히트맵만으로는 불가능한 더 정밀하고 이중 수준(시각적 및 언어적)의 설명을 제공함을 입증한다. 이 방법은 모델의 의사결정 근거를 드러내며, LRP-추론 미세조정을 통해 환각 현상을 감소시키고, 문장의 유창성을 유지한다.

ABSTRACT

This paper interprets the predictions of image captioning models with attention mechanisms beyond visualizing the attention itself. In this paper, we develop variants of layer-wise relevance propagation (LRP) and gradient-based explanation methods, tailored to image captioning models with attention mechanisms. We compare the interpretability of attention heatmaps systematically against the explanations computed with explanation methods such as LRP, Grad-CAM, and Guided Grad-CAM. We show that explanation methods provide simultaneously pixel-wise image explanation (supporting and opposing pixels of the input image) and linguistic explanation (supporting and opposing words of the preceding sequence) for each word in the predicted captions. We demonstrate with extensive experiments that explanation methods can 1) reveal more related evidence used by the model to make decisions than attention; 2) correlate to object locations with high precision; 3) is helpful to `debug' the model such as analyzing the reasons for hallucinated object words. With the observed properties of explanations, we further design an LRP-inference fine-tuning strategy that can alleviate the object hallucination of image captioning models, meanwhile, maintain the sentence fluency. We conduct experiments with two widely used attention mechanisms: the adaptive attention mechanism calculated with the additive attention and the multi-head attention calculated with the scaled dot product.

연구 동기 및 목표

• 이미지 캡션 모델의 시각적 주의 히트맵을 넘어서는 설명 방법을 개발하는 것.
• 예측된 캡션 단어 각각에 대해 픽셀 수준과 단어 수준의 이중 수준 설명을 제공하여 지지 및 반대 근거를 제공하는 것.
• 특히 부적절하거나 잘못된 객체 단어에 대한 모델의 환각 현상을 진단하고 완화하는 것.
• LRP-추론을 기반으로 한 미세조정 전략을 설계하여 환각을 줄이고 생성된 캡션의 유창성을 유지하는 것.
• 추가 주의와 다중 헤드 스케일드 디트-곱 주의 메커니즘 두 가지 표준 주의 기반 기법 간 설명 방법의 효과성을 평가하는 것.

제안 방법

• 주어진 주의 메커니즘을 갖춘 이미지 캡션 모델에 대해 계층별 관련성 전파(LRP)를 적응시켜 입력 픽셀과 은닉 상태에 관련성 점수를 할당하는 것.
• 자기회귀적 캡션 설정에 맞게 조정된 Grad-CAM, 가이드드 Grad-CAM 및 그 변형과 같은 기울기 기반 설명 방법을 도입하는 것.
• 예측된 캡션 시퀀스의 각 단어에 대해 관련성 점수를 계산하고, 이를 입력 이미지 픽셀과 캡션의 이전 단어와 연결하는 것.
• 수득한 설명을 바탕으로 각 예측 단어에 대한 지지 및 반대 시각적 및 언어적 근거를 식별하는 것.
• 관련성 점수를 기반으로 모델 파라미터를 조정하여 환각된 객체 예측를 줄이는 LRP-추론 미세조정 전략을 설계하는 것.
• 추가 주의와 다중 헤드 스케일드 디트-곱 주의 메커니즘을 사용하는 모델에 대해 방법을 적용하고 비교하는 것.

실험 결과

연구 질문

• RQ1 LRP 및 기울기 기반 기법과 같은 설명 방법은 이미지 캡션에서 주의 히트맵보다 더 정확하고 종합적인 근거를 드러낼 수 있는가?
• RQ2 이러한 설명 방법은 이미지 내 진짜 객체 위치와 얼마나 잘 상관되는가?
• RQ3 이러한 설명 방법은 생성된 캡션에서 모델의 환각 현상을 진단하고 이해하는 데 얼마나 효과적인가?
• RQ4 LRP-추론 미세조정 전략은 캡션의 유창성을 해치지 않으면서 환각된 객체 단어를 효과적으로 줄일 수 있는가?
• RQ5 추가 주의와 다중 헤드 주의 메커니즘 간 설명 방법의 해석 가능성 특성은 어떻게 다를까?

주요 결과

• LRP 및 기울기 기반 기법과 같은 설명 방법은 주의 히트맵보다 더 정밀하고 종합적인 근거를 제공하여 지지 및 반대 픽셀과 단어를 드러낸다.
• 이러한 설명 방법은 진짜 객체 위치와 높은 상관성을 보이며, 정위치 정확도에서 주의 메커니즘을 능가한다.
• 이 방법들은 환각된 객체 단어의 근본 원인을 효과적으로 폭 드러내어 타겟된 모델 디버깅을 가능하게 한다.
• 제안된 LRP-추론 미세조정 전략은 생성된 캡션의 유창성을 유지하면서도 이미지 캡션 모델의 환각 현상을 성공적으로 줄였다.
• 이 설명 방법들은 추가 주의와 다중 헤드 주의 메커니즘 양쪽 모두에서 효과적이며, 아키텍처의 차이에 대해 강건함을 입증한다.
• 이중 수준(시각적 및 언어적)의 설명은 복잡하거나 잘못된 예측에 대해 모델의 추론 과정을 더 깊이 이해하는 데 기여한다.