[논문 리뷰] Grounding Visual Explanations (Extended Abstract)

Lisa Anne Hendricks, Ronghang Hu외 2명|arXiv (Cornell University)|2017. 11. 17.

Multimodal Machine Learning Applications참고 문헌 7인용 수 3

한 줄 요약

이 논문은 문장 비평가 모델을 제안하여, 개별 속성 어절을 이미지와 생성된 설명에 모두 기반시킴으로써 시각적 설명의 품질을 향상시킨다. 이는 이미지의 관련성을 확보하면서도 언어적 유창성을 유지한다. 뒤집힌 어절(예: 'red'를 'black'으로 변경)을 음성 예외로 사용하는 상대적 속성 순위 손실을 통해 모델은 이전 연구 대비 근거 정확도에서 뚜렷한 향상을 보이며(85% 대 79%의 이미지 관련 속성), 더 정확하고 해석 가능한 설명을 시각적 증거에 기반해 생성한다.

ABSTRACT

Existing models which generate textual explanations enforce task relevance through a discriminative term loss function, but such mechanisms only weakly constrain mentioned object parts to actually be present in the image. In this paper, a new model is proposed for generating explanations by utilizing localized grounding of constituent phrases in generated explanations to ensure image relevance. Specifically, we introduce a phrase-critic model to refine (re-score/re-rank) generated candidate explanations and employ a relative-attribute inspired ranking loss using "flipped" phrases as negative examples for training. At test time, our phrase-critic model takes an image and a candidate explanation as input and outputs a score indicating how well the candidate explanation is grounded in the image.

연구 동기 및 목표

• 신경망에 의해 생성된 텍스트 설명에서 입력 이미지에 존재하지 않는 속성을 언급하는 문제를 해결하기 위해.
• 클래스 구분 능력을 갖춘 설명을 생성하는 것과 그 설명이 입력 이미지에 실제로 기반되어 있음을 보장하는 것 사이의 갈등을 해결하기 위해.
• 언어적 유창성과 설명 어절의 시각적 기반을 동시에 최적화하는 프레임워크를 개발하기 위해.
• 어절 기반의 시각적 기반 평가를 수행하는 학습된 스코어링 메커니즘을 통해 자동으로 가장 이미지 관련성이 높은 설명을 선택할 수 있도록 하기 위해.

제안 방법

• 클래스 특이 속성을 강조하기 위해 분류적 손실을 사용하여 훈련된 LSTM 기반 모델을 통해 후보 설명의 시퀀스를 생성한다.
• 각 설명을 규칙 기반 체커를 사용해 속성 어절로 분해한다(예: '빨간 부리', '검은 얼굴').
• 미리 훈련된 기반 모델(hu2017modeling)을 사용해 각 어절을 이미지 내 시각적 영역에 할당하며, 바운딩 박스와 국소화 스코어를 반환한다.
• 어절-영역-스코어 트리플릿을 입력으로 받는 어절 비평가 모델이 단일 이미지 관련성 스코어 $ S_r $ 를 계산하며, 이는 어절이 이미지에 얼마나 잘 기반되어 있는지를 반영한다.
• 어절 비평가 모델은 상대적 속성 순위 손실을 사용해 훈련되며, '뒤집힌' 어절(예: '빨간색'을 '검은색'으로 변경)을 음성 예외로 사용해 구분 능력을 향상시킨다.
• 최종 설명은 어절 비평가 스코어 $ S_r $ 와 유창성 스코어 $ S_f = \log P(w_{0:T}) $ 의 가중 조합을 사용해 순위를 매긴다. 이는 문법적으로 잘못된 문장에 대한 과도한 순위 매기기를 방지한다.

실험 결과

연구 질문

• RQ1 생성된 텍스트 설명이 언어적 유창성 외에도 입력 이미지에 실제로 기반되어 있는지 효과적으로 평가할 수 있는가?
• RQ2 언어적 품질이나 구분 능력을 훼손하지 않으면서도 시각적 설명의 이미지 관련성을 어떻게 향상시킬 수 있는가?
• RQ3 개별 어절을 이미지에 기반시킴으로써 시각적 설명의 전체 정확도와 해석 가능성은 어느 정도 향상되는가?
• RQ4 상대적 속성 비교(예: '빨간색' 대 '검은색')를 기반으로 훈련된 비평가 모델이 표준 손실 함수보다 이미지 관련성이 없는 설명을 더 잘 식별할 수 있는가?

주요 결과

• 어절 비평가 모델은 85%의 이미지 관련 속성 언급 정확도를 달성하여, 베이스라인 모델(79%)에 비해 근거 정확도에서 뚜렷한 향상을 보였다.
• 모델은 빨간 부리가 실제로 검은 부리인 새의 경우 '주황색 부리'라고 잘못 기술하는 것과 같은 잘못된 언급을 시각적 기반에 기반해 성공적으로 식별하고 수정할 수 있었다.
• 높은 순위를 받은 설명들은 항상 가장 구분력 있고 시각적으로 정확한 속성을 일관되게 언급한다. 예를 들어, 브류어 블랙버드의 경우 '흰색 눈'은 핵심적인 특징으로서 중요한 구분 기준이다.
• 유창성 스코어링($ S_f $)의 통합은 문법적으로 잘못된 문장이지만 시각적으로 타당한 설명(예: '긴 목'을 두 번 반복하는 설명)을 선호하는 것을 방지한다.
• 시스템이 생성한 시각적 설명은 '흰 눈'과 같은 작은 영역을 정확하게 국소화하며, 해당 어절과 일치하는 색상 코드가 적용된 바운딩 박스를 보여준다.
• 모델은 둘 다 이미지에 존재하는 속성을 언급하더라도 상대적 속성 비교를 활용해 올바른 설명과 잘못된 설명을 효과적으로 구분할 수 있었다.