[논문 리뷰] Attentive Explanations: Justifying Decisions and Pointing to the Evidence

Dong Huk Park, Lisa Anne Hendricks외 4명|arXiv (Cornell University)|2016. 12. 14.

Multimodal Machine Learning Applications참고 문헌 41인용 수 55

한 줄 요약

이 논문은 시각적 결정에 대해 자연어적 근거를 생성하면서 동시에 해당 설명을 시각적으로 근거화하는 데 attention 맵을 생성하는 다중모달 딥러닝 프레임워크인 Pointing and Justification-based Explanation (PJ-X) 모델을 제안한다. 모델은 VQA-X(시각적 질의 응답용)와 ACT-X(활동 인식용)라는 두 가지 새로운 인간 주석 데이터셋을 기반으로 훈련되었으며, 근거 품질과 증거 지목 능력에서 베이스라인을 능가함으로써 모델이 인간과 유사한, 근거가 확보된 설명을 생성할 수 있음을 입증한다.

ABSTRACT

Deep models are the defacto standard in visual decision models due to their impressive performance on a wide array of visual tasks. However, they are frequently seen as opaque and are unable to explain their decisions. In contrast, humans can justify their decisions with natural language and point to the evidence in the visual world which led to their decisions. We postulate that deep models can do this as well and propose our Pointing and Justification (PJ-X) model which can justify its decision with a sentence and point to the evidence by introspecting its decision and explanation process using an attention mechanism. Unfortunately there is no dataset available with reference explanations for visual decision making. We thus collect two datasets in two domains where it is interesting and challenging to explain decisions. First, we extend the visual question answering task to not only provide an answer but also a natural language explanation for the answer. Second, we focus on explaining human activities which is traditionally more challenging than object classification. We extensively evaluate our PJ-X model, both on the justification and pointing tasks, by comparing it to prior models and ablations using both automatic and human evaluations.

연구 동기 및 목표

• 사람들이 자신의 추론 방식을 설명하는 것과 유사하게, 시각적 결정에 대해 자연어적 근거를 생성하는 딥러닝 모델을 개발하는 것.
• 결정 및 근거 생성 동안 관련 이미지 영역을 강조하는 attention 맵을 학습하여 설명을 시각적으로 근거화할 수 있도록 하는 것.
• 시각적 추론 작업을 위한 인간 주석 기반 텍스트적 근거와 시각적 증거가 포함된 데이터셋의 부족을 해결하는 것.
• 정확한 근거와 의미 있는 지목 행동을 생성할 수 있는 모델의 능력을 평가하여 딥러닝 시각 모델의 해석 가능성 향상시키는 것.
• 모델이 직관적이고 인간이 이해할 수 있는 설명을 생성할 수 있으며, 동시에 내부 주의 메커니즘을 반영할 수 있음을 입증하는 것.

제안 방법

• PJ-X 모델은 이중 주의 메커니즘을 사용한다: 결정을 위한 VQA-ATT와 근거 생성을 위한 EXP-ATT로, 예측과 설명 생성 시 서로 다른 시각적 초점을 가지도록 한다.
• 모델은 인간 주석 데이터로부터의 텍스트적 근거(근거)를 사용해 엔드 투 엔드로 훈련되며, 언어와 시각적 증거를 정렬하는 데 도움이 된다.
• 새로운 설명 주의 메커니즘을 도입하여 텍스트적 근거를 특정 이미지 영역에 근거화함으로써 설명이 시각적으로 지원됨을 보장한다.
• 이 프레임워크는 시각적 질의 응답(VQA)과 세분화된 인간 활동 인식이라는 두 가지 작업에 적용되며, 커뮤니티 기반으로 수집된 별도의 데이터셋을 사용한다.
• 자동 평가 지표와 인간 평가를 모두 사용하여 모델을 평가하며, 강력한 베이스라인과 아블레이션을 비교하여 주의 및 근거 훈련의 기여도를 분리한다.
• 모델은 내성적(결정 과정을 보여주는) 및 근거 기반(지원 증거를 보여주는) 설명 스타일을 모두 지원하여 해석 가능성과 사용자 우호성을 결합한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 정확하고 시각적 증거에 근거한 자연어적 근거를 시각적 결정에 대해 생성할 수 있는가?
• RQ2 모델은 결정을 내릴 때와 근거를 제시할 때 서로 다른 이미지 영역에 주의를 기울일 수 있는가? 이는 인간과 유사한 추론 방식을 반영하는가?
• RQ3 훈련 중에 인간 주석 기반 텍스트적 근거를 통합하면 생성된 설명의 품질과 지목 행동의 향상에 기여하는가?
• RQ4 모델의 설명은 시각적 오해로 인한 잘못된 분류와 같은 실패 모드를 어떻게 파악하는 데 도움이 되는가?
• RQ5 모델은 사용자가 이해할 수 있고 내부 주의 패턴을 반영하는 설명을 생성할 수 있는가?

주요 결과

• PJ-X 모델은 인간 평가를 통해 맥락적으로 적절하고 시각적 증거와 일치하는 고품질의 텍스트적 근거를 생성한다.
• 모델은 결정을 위한(VQA-ATT)과 근거 생성을 위한(EXP-ATT) 별개의 attention 맵을 생성함으로써, 두 작업에 동일한 시각적 단서에 의존하지 않음을 입증한다.
• 모델의 설명은 예를 들어 빨간 신호등을 초록색으로 잘못 인식하는 등 예측 실패의 이유를 자주 드러내며, 이는 모델이 시각적 단서에 대한 인식을 가지고 있음을 시사한다.
• VQA-X 데이터셋에서 모델의 VQA 성능는 MCB(2016년 VQA 챌린지 우승자)를 略로 초월하면서도 설명 기능을 추가로 제공한다.
• ACT-X 데이터셋에서 모델은 세분화된 활동(예: BMX vs. 경기 자전거 타기)을 정확히 예측하고, 이미지 맥락과 활동에 부합하는 설명을 생성한다.
• 아블레이션 연구 결과, 텍스트적 근거의 사용과 이중 주의 메커니즘 모두 설명 품질과 근거 정확도 향상에 크게 기여하는 것으로 나타났다.