[논문 리뷰] Visual Explanation for Deep Metric Learning

Sijie Zhu, Taojiannan Yang외 1명|arXiv (Cornell University)|2019. 09. 27.

Human Pose and Action Recognition참고 문헌 37인용 수 14

한 줄 요약

이 논문은 딥 메트릭 러닝에서 시각적 해석을 위한 새로운 활성화 분해 프레임워크를 제안하며, 이미지 간 픽셀 간 대응 관계를 드러내는 포인트별 활성화 맵을 도입한다. 유사도 점수를 영역 수준 기여도로 분해함으로써, 입자 수준의 관계—예를 들어 입술 대 입술 또는 눈 대 눈의 매칭—을 드러내며, 기존의 Grad-CAM 스타일 방법에 비해 교차 뷰 패턴 탐색 및 인터랙티브 검색과 같은 응용 분야에서 뛰어난 해석 가능성과 함께 성능을 보여준다.

ABSTRACT

This work explores the visual explanation for deep metric learning and its applications. As an important problem for learning representation, metric learning has attracted much attention recently, while the interpretation of such model is not as well studied as classification. To this end, we propose an intuitive idea to show where contributes the most to the overall similarity of two input images by decomposing the final activation. Instead of only providing the overall activation map of each image, we propose to generate point-to-point activation intensity between two images so that the relationship between different regions is uncovered. We show that the proposed framework can be directly deployed to a large range of metric learning applications and provides valuable information for understanding the model. Furthermore, our experiments show its effectiveness on two potential applications, i.e. cross-view pattern discovery and interactive retrieval. The source code is available at \url{https://github.com/Jeff-Zilence/Explain_Metric_Learning}.

연구 동기 및 목표

• 딥 메트릭 러닝에서 시각적 해석의 부족 문제를 해결하여, 특히 어떤 이미지 영역이 유사도 점수에 가장 기여하는지 이해하는 데 목적이 있다.
• 글로벌 활성화 맵이 드러내지 못하는, 두 이미지의 대응 영역 간의 관계를 밝혀내는 데 목적이 있다.
• 모델 아키텍처 수정 없이 다양한 메트릭 러닝 작업에 적용 가능한 화이트박스 해석 방법을 개발하는 데 목적이 있다.
• 포인트별 활성화 맵의 실용성을 교차 뷰 패턴 탐색 및 인터랙티브 검색과 같은 실제 응용 분야에서 검증하는 데 목적이 있다.

제안 방법

• 한 이미지의 각 공간 위치가 다른 이미지와의 총 유사도 점수에 기여하는 정도를 계산하기 위해 활성화 분해를 제안한다.
• 두 이미지의 마지막 합성곱 특징 맵에 대한 유사도 점수의 기울기를 계산하여 Grad-CAM을 메트릭 러닝에 확장한다.
• 사슬 법칙을 사용하여 기울기를 역전파하여, 코사인 유사도 점수에서 특징 맵으로의 기울기를 기반으로 한 활성화 맵을 유도한다.
• 한 이미지의 단일 픽셀이 다른 이미지의 모든 위치에 대해 활성화 반응을 계산함으로써 포인트별 활성화 맵을 도입한다.
• 전체 평균 풀링(GAP)과 자코비안 기반 기울기 계산을 사용하여 클래스에 종속되지 않고 아키텍처에 종속되지 않는 시각적 해석을 생성한다.
• L2 정규화된 임bedding을 사용하는 시아모이 네트워크에 적용하여, 재학습이나 모델 수정 없이도 해석이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 딥 메트릭 러닝에서 두 이미지의 어떤 영역이 학습된 유사도 점수에 가장 기여하는지 어떻게 시각화할 수 있는가?
• RQ2 두 이미지의 대응 영역(예: 눈, 입) 간의 관계는 무엇이며, 이를 정량적으로 측정할 수 있는가?
• RQ3 포인트별 활성화 맵은 글로벌 활성화 맵을 초월하여 메트릭 러닝에서 모델의 해석 가능성에 기여할 수 있는가?
• RQ4 교차 뷰 패턴 탐색 및 인터랙티브 검색과 같은 실제 응용 분야에서 제안된 방법은 얼마나 효과적인가?
• RQ5 기존의 Grad-CAM과 같은 방법에 비해 제안된 설명 프레임워크는 입자 수준의 매칭 패턴을 더 잘 포착할 수 있는가?

주요 결과

• 제안된 활성화 분해 방법은 총합 및 포인트별 활성화 맵을 생성하여 이미지 간 세밀한 공간적 대응 관계를 드러낸다.
• 포인트별 활성화 맵은 낮은 활성화를 보이는 영역(예: 개인 재확인 이미지에서의 입)이 특정 기능(예: 쿼리 이미지에서의 입)에 대해 강한 반응을 보일 수 있음을 보여주며, 이는 글로벌 맵가 이를 놓친다.
• 실험 결과, 특히 GAP 풀링을 사용하는 개인 재확인에서, 이 방법은 자르기 및 마스킹 기반 방법보다 더 의미 있는 활성화 맵을 생성하는 데 성공한다.
• 교차 뷰 패턴 탐색에서, 이 방법은 다양한 뷰 간 일관된 패턴—예를 들어 얼굴 방향—을 성공적으로 식별한다.
• 인터랙티브 검색 결과는 사용자가 포인트별 맵을 통해 고응답 영역에 집중함으로써 검색을 효과적으로 개선할 수 있음을 보여준다.
• 이 방법은 재학습이 필요 없이 얼굴 인식, 개인 재확인, 이미지 검색 등 다양한 메트릭 러닝 작업에서 효과적으로 작동한다.