[논문 리뷰] Generating Visual Explanations

Lisa Anne Hendricks, Zeynep Akata외 4명|arXiv (Cornell University)|2016. 03. 28.

Multimodal Machine Learning Applications참고 문헌 30인용 수 75

한 줄 요약

이 논문은 이미지 특징과 예측된 레이블에 조건을 두어 언어 생성을 수행함으로써 이미지 클래스 레이블을 동시에 예측하고 클래스별 시각적 설명을 생성하는 새로운 딥러닝 모델을 제안한다. 전역 문장 속성인 클래스 특이성과 같은 성질을 최적화하기 위해 강화학습 기반 손실을 사용함으로써, 표준 캡션 모델에 비해 더 구분력 있는 설명을 생성한다. 이는 세부적인 새 종 데이터셋에서 검증되었으며, 생성된 설명의 정확도와 특이성이 향상되었다.

ABSTRACT

Clearly explaining a rationale for a classification decision to an end-user can be as important as the decision itself. Existing approaches for deep visual recognition are generally opaque and do not output any justification text; contemporary vision-language models can describe image content but fail to take into account class-discriminative image aspects which justify visual predictions. We propose a new model that focuses on the discriminating properties of the visible object, jointly predicts a class label, and explains why the predicted label is appropriate for the image. We propose a novel loss function based on sampling and reinforcement learning that learns to generate sentences that realize a global sentence property, such as class specificity. Our results on a fine-grained bird species classification dataset show that our model is able to generate explanations which are not only consistent with an image but also more discriminative than descriptions produced by existing captioning methods.

연구 동기 및 목표

• 자연어로 분류 결정을 설명하는 시각적 설명 시스템을 개발하여 일반적인 이미지 기술보다 더 나아가야 한다.
• 딥 뷰얼 분류기의 투명성 문제를 해결하기 위해, 이미지에 관련이 있고 동시에 클래스를 구분할 수 있는 설명을 생성해야 한다.
• 유사한 클래스들(예: 새 종)을 구분하는 데 도움이 되는 특징을 포함하도록 유도하는 학습 목표를 설계해야 한다.
• 학습 중에 클래스 특이성을 전역 문장 속성으로 통합함으로써, 추론 시에 클래스 레이블이 제공되지 않더라도 설명 품질이 향상됨을 입증해야 한다.
• 샘플된 문장에 작용하는 새로운 손실 함수의 효과를 검증해야 한다. 이 손실 함수는 전역적인 구분 능력 특성을 최적화한다.

제안 방법

• 모델은 표준 ImageNet 미사전 학습된 특징보다 더 나은 성능을 내기 위해, 세분화된 시각적 분류기를 사용하여 구분 가능한 이미지 특징을 추출한다.
• 순서에서 순서로 LSTM 언어 모델을 이미지 특징과 예측된 클래스 레이블에 조건을 두어 설명을 생성한다.
• 전역 문장 속성(예: 클래스 특이성)을 최적화하기 위해, 샘플링 과정을 통해 역전파가 가능한 새로운 강화학습 기반 손실 함수를 도입한다.
• 손실 함수는 클래스 레이블이 테스트 시에 제공되지 않더라도, 유사한 클래스들 사이를 구분하는 데 핵심적인 특징을 포함한 문장을 생성하도록 모델을 유도한다.
• 학습 과정은 문장을 샘플링하고, 정책 기반 강화학습 방법을 사용하여 생성된 문장이 원하는 전역 성질을 얼마나 잘 만족하는지에 따라 모델을 업데이트한다.
• 이 방법은 모델이 시각적 증거에 기반하면서도, 예를 들어 '빨간 눈'과 같이 구분 가능한 특징(예: 웨스턴 그레브의 '빨간 눈')을 강조하도록 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 시각적으로 기반을 두고 있으며 동시에 클래스를 구분할 수 있는 설명을 생성할 수 있는 시각-언어 모델은 존재하는가? 일반적인 기술보다 더 나아가야 한다.
• RQ2 지역 단위 단어 수준의 감독이 아닌, 전역 문장 수준의 성질(예: 클래스 특이성)을 최적화하기 위해 손실 함수를 어떻게 설계할 수 있는가?
• RQ3 추론 시 클래스 레이블에 접근할 수 없더라도, 모델이 구분 가능한 설명을 얼마나 잘 학습할 수 있는가?
• RQ4 학습 중에 구분 능력 손실을 통합함으로써, 표준 캡션 기반 베이스라인에 비해 생성된 설명의 품질과 특이성이 향상되는가?
• RQ5 시각적 특징과 클래스 레이블은 생성된 설명의 내용에 어떻게 함께 영향을 미치는가?

주요 결과

• 제안된 모델은 표준 이미지 캡션 모델에 비해 훨씬 더 구분력 있는 설명을 생성한다. 예를 들어 '빨간 눈'이나 '검은 머리'와 같은 핵심 구분 특징이 포함되어 있음을 입증하였다.
• 테스트 시 클래스 레이블이 제공되지 않더라도, 베이스라인 기술 모델보다 더 높은 클래스 특이성 내용을 포함한 문장을 생성한다.
• 구분 능력 손실을 사용하여 학습할 경우, 표준 문장 생성 평가 지표(BLEU, ROUGE 등)에서 성능이 향상되어 전반적인 문장 품질이 향상됨을 보였다.
• 정성적 분석 결과, 잘못된 클래스에 조건을 두었을 때도 유사하지만 잘못된 특징 언급(예: 빨간색이 없는 새에 대해 '빨간색' 언급)을 생성함으로써, 모델이 클래스 정보에 민감하게 반응하는 것을 확인하였다.
• 강화학습 기반 손실은 샘플된 출력에 작용하지만, 전역적인 특성(예: 클래스 특이성)을 만족하도록 모델을 성공적으로 이끌었다.
• 모델는 이미지 관련성과 클래스 관련성을 균형 있게 유지함으로써, 기술 전용 및 정의 전용 베이스라인보다 모두 뛰어난 성능을 보였다.