[논문 리뷰] Why do These Match? Explaining the Behavior of Image Similarity Models

Bryan A. Plummer, Mariya I. Vasileva외 3명|OpenBU (Boston University)|2019. 05. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 43인용 수 6

한 줄 요약

이 논문은 이미지 유사도 모델을 설명하기 위해 쌍화된 사전적 지도 지도와 인간이 이해할 수 있는 속성(attribute)을 결합하는 SANE를 소개한다. 이는 유사도 모델의 행동을 더 잘 이해할 수 있도록 보다 해석 가능한 설명을 제공함으로써, 유사도 모델의 투명성과 사용자 이해도를 향상시킨다. SANE는 사전적 지도-속성 일치를 공동 최적화하고 속성 적합도에 대한 사전 정보를 활용하여 설명 품질과 속성 인식 성능을 모두 향상시키며, Polyvore Outfits 및 Animals with Attributes 2 데이터셋에서의 사용자 연구에서 기존의 기준 모델들을 능가한다.

ABSTRACT

Explaining a deep learning model can help users understand its behavior and allow researchers to discern its shortcomings. Recent work has primarily focused on explaining models for tasks like image classification or visual question answering. In this paper, we introduce Salient Attributes for Network Explanation (SANE) to explain image similarity models, where a model's output is a score measuring the similarity of two inputs rather than a classification score. In this task, an explanation depends on both of the input images, so standard methods do not apply. Our SANE explanations pairs a saliency map identifying important image regions with an attribute that best explains the match. We find that our explanations provide additional information not typically captured by saliency maps alone, and can also improve performance on the classic task of attribute recognition. Our approach's ability to generalize is demonstrated on two datasets from diverse domains, Polyvore Outfits and Animals with Attributes 2. Code available at: https://github.com/VisionLearningGroup/SANE

연구 동기 및 목표

• 이미지 유사도 모델에 대한 설명 방법의 부족을 해결하기 위해, 분류 모델과는 근본적으로 다름 — 두 입력을 받아 유사도 점수를 산출하는 데서 기인함.
• 블랙박스 설명 방법을 개발하여, 모델이 두 이미지를 유사하게 간주하는 이유로 기여하는 주요 이미지 영역과 의미 있는 속성을 동시에 규명함.
• 사전적 지도만으로는 부족한 설명보다 더 해석 가능한 설명을 제공함으로써, 사용자가 유사도 모델의 행동을 더 잘 이해할 수 있도록 돕기.
• 유사도 모델의 설명을 약한 지도 신호로 활용하여 속성 인식 성능을 향상시키기.
• 다양한 데이터셋에서 사용자 연구를 통해 설명의 효과성을 검증하며, 정확도와 인식된 유용성 측정

제안 방법

• SANE는 모델 아키텍처에 관계없이 유사도 모델을 단순히 순방향 전파만 요구하는 블랙박스 접근 방식을 사용한다.
• 세 가지 구성 요소를 조합한다: 각 속성에 대한 신뢰도 점수와 활성화 지ap을 출력하는 속성 예측기, 중요한 이미지 영역을 생성하는 사전적 지도 생성기, 그리고 정규화 항으로서의 속성 적합도 사전 정보.
• 학습 중에 SANE는 사전적 지도와 속성 활성화 지도 간의 겹침을 최대화하여 설명이 모델 행동과 일치하도록 한다.
• 추론 시, 설명은 다음의 가중합으로 순위를 매긴다: (1) 속성-사전적 지도 유사도, (2) 속성 적합도 사전 정보, (3) 이미지 내 속성의 가능성.
• 기존의 기울기 기반 및 변형 기반 사전적 지도 방법(예: Grad-CAM, LRP, Integrated Gradients)을 사전적 지도 생성기로 활용한다.
• SANE는 엔드 투 엔드로 학습되며, 속성 예측기와 사전적 지도 생성기가 함께 최적화되어 설명 품질과 후속 속성 인식 정확도를 모두 향상시킨다.

실험 결과

연구 질문

• RQ1 사전적 지도 기반 설명은 사전적 지도만 사용할 때보다 이미지 유사도 모델에 대해 더 해석 가능한 통찰을 제공하는가?
• RQ2 사전적 지도-속성 일치를 공동 최적화함으로써 설명 품질과 속성 인식 성능이 모두 향상되는가?
• RQ3 사용자들은 사전적 지도, 상위 속성 예측, SANE 설명 등 다양한 설명 유형의 유용성과 정확도를 어떻게 평가하는가?
• RQ4 다양한 데이터셋(예: 패션 이미지 대비 자연 이미지) 간에 설명 유형의 효과성이 다를까?
• RQ5 SANE 설명은 사전적 지도만으로는 캐치할 수 없는 유사도 모델 예측에 대한 사용자 이해도를 향상시키는가?

주요 결과

• Polyvore Outfits 데이터셋에서 SANE 설명은 사용자 정확도를 68.9%로 향상시켰으며, 제어 조건 대비 2.9% 향상되었고, 가장 가능성 높은 속성만 사용한 경우 대비 6.4% 향상되었다.
• Animals with Attributes 2에서 SANE는 사용자 정확도 61.3%를 달성하여 제어 조건 대비 19.3% 향상되었고, 가장 가능성 높은 속성 기반 기준 대비 10.2% 향상되었다.
• AwA에서 87.5%의 사용자가 SANE 속성 설명을 도움이 된다고 평가했으며, 가장 가능성 높은 속성 대비 69.2%보다 높은 수준의 해석 가능성 인식을 보였다.
• SANE는 설명의 지도 신호를 통해 속성 인식 성능을 향상시켰으며, 평균 정밀도 측정 기준으로도 성능 향상을 입증했다.
• Polyvore Outfits에서 사전적 지도와 SANE 속성의 조합이 가장 높은 사용자 정확도(70.0%)를 기록했지만, 사용자들은 SANE 단독 설명보다는 이 조합을 덜 유용하다고 평가했다(55.6%).
• 무작위 사전적 지도에서는 오직 20%의 사용자만 도움이 된다고 평가했으며, 일부 사례에선 정확도를 떨어뜨리는 결과를 보였다. 이는 지도되지 않은 사전적 지도가 사용자를 오도할 수 있음을 시사한다.