[논문 리뷰] Region Comparison Network for Interpretable Few-shot Image Classification

Zhiyu Xue, Lixin Duan외 3명|arXiv (Cornell University)|2020. 09. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 10

한 줄 요약

이 논문은 해석 가능한 소수의 이미지 분류를 위한 메트릭 학습 기반 프레임워크인 영역 비교 네트워크(RCN)를 제안한다. 이는 지원 및 쿼리 이미지 간의 주목할 만한 영역을 식별하고 가중치를 설정한다. 영역 활성도 맵(RAM)과 영역 중요도 기준을 도입함으로써 RCN은 시각적 해석 가능성과 클래스 간 일반화된 프로토타입 부분을 제공하며, 네 가지 벤치마크 데이터셋에서 기존의 기준 모델들을 능가한다.

ABSTRACT

While deep learning has been successfully applied to many real-world computer vision tasks, training robust classifiers usually requires a large amount of well-labeled data. However, the annotation is often expensive and time-consuming. Few-shot image classification has thus been proposed to effectively use only a limited number of labeled examples to train models for new classes. Recent works based on transferable metric learning methods have achieved promising classification performance through learning the similarity between the features of samples from the query and support sets. However, rare of them explicitly considers the model interpretability, which can actually be revealed during the training phase. For that, in this work, we propose a metric learning based method named Region Comparison Network (RCN), which is able to reveal how few-shot learning works as in a neural network as well as to find out specific regions that are related to each other in images coming from the query and support sets. Moreover, we also present a visualization strategy named Region Activation Mapping (RAM) to intuitively explain what our method has learned by visualizing intermediate variables in our network. We also present a new way to generalize the interpretability from the level of tasks to categories, which can also be viewed as a method to find the prototypical parts for supporting the final decision of our RCN. Extensive experiments on four benchmark datasets clearly show the effectiveness of our method over existing baselines.

연구 동기 및 목표

• 소수의 이미지 분류 모델에서의 해석 가능성 부족 문제, 특히 분류 결정에 기여하는 이미지 영역을 이해하는 데에 대응하기 위해.
• 지원 및 쿼리 이미지의 주목할 만한 영역 간의 관계를 명시적으로 모델링하여 의사결정의 투명성을 향상시키기 위한 방법을 개발하기 위해.
• 개별 지원-쿼리 쌍에서의 해석 가능성부터 전체 클래스 수준으로 일반화하여 각 카테고리의 프로토타입 부분을 식별하기 위해.
• 중간 네트워크 활성도와 영역 유사도를 직관적으로 설명할 수 있는 시각화 기법(RAM)을 도입하기 위해.
• 유사도 가중치의 통계적 분포에 기반한 영역 중요도 평가를 위한 정량 기준을 제공하기 위해.

제안 방법

• RCN 프레임워크는 지원 및 쿼리 이미지를 심층 특징으로 인코딩하기 위해 특징 추출기를 사용한 후, 해당 영역 간의 유사도 점수를 계산하기 위해 영역 매칭 네트워크를 적용한다.
• 영역 메타러닝 기반으로 최종 레이어에서 영역 가중치를 동적으로 생성하며, 유사도 점수를 학습 가능한 선형 조합을 통해 최종 분류 점수에 직접 연결한다.
• 영역 활성도 맵(RAM)은 중간 유사도 점수와 영역 가중치를 시각화하여 모델의 주의 집중 영역을 직관적으로 해석할 수 있도록 한다.
• 영역 가중치의 가우시안 분포에 기반한 통계 기준을 통해 중요도 점수 I_j를 계산하며, 높은 평균 μ_j와 낮은 표준편차 σ_j는 더 대표적인 프로토타입 영역을 의미한다.
• 일반화 방법은 다수의 지원-쿼리 쌍 간의 유사도 점수를 집계하며, 가중치의 평균과 표준편차를 사용해 클래스 수준의 프로토타입 부분을 식별한다.
• 의미 없는 영역을 제거하기 위해 영역 벡터의 가중치가 0인 영역을 제거함으로써 의미 있는 영역에 집중하고 노이즈를 줄여 해석 가능성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 쿼리 이미지의 어떤 특정 영역이 지원 이미지의 영역과 가장 유사하며, 그 기여도는 어떻게 되는가?
• RQ2 몇 가지 학습 모델의 내부 추론 과정을 영역 수준에서 어떻게 시각화하고 해석할 수 있는가?
• RQ3 개별 이미지 쌍에서의 해석 가능성은 전체 클래스 수준으로 일반화될 수 있는가? 즉, 카테고리를 정의하는 프로토타입 부분을 식별할 수 있는가?
• RQ4 특정 데이터 부족 상황에서 영역의 중요도를 정량적으로 측정할 수 있는 통계적 지표는 무엇인가?
• RQ5 모델의 주의 메커니즘은 인간의 물체 인식 방식과 비교해 볼 때, 부리나 꼬리와 같은 핵심 부분에 집중하는가?

주요 결과

• RCN 모델은 CUB-200, MiniImageNet, Tiered-Imagenet, FG-WHISK 네 가지 벤치마크 데이터셋에서 최신 기준 성능을 달성하여 소수의 이미지 분류에서의 효과성을 입증한다.
• 영역 활성도 맵(RAM)은 분류에 가장 관련이 깊은 이미지 영역을 성공적으로 시각화하였으며, 모델이 인간의 인식과 일치하는 특징적인 부분(예: 부리, 꼬리)에 집중하고 있음을 보여주었다.
• 유사도 가중치의 평균과 분산에 기반한 중요도 기준 I_j는 프로토타입 부분을 효과적으로 식별하였다. 예를 들어, 여우새벽새의 영역 8번과 검은 털새의 영역 7번이 핵심 특징으로 정확히 식별되었다.
• 일반화 방법은 클래스 수준의 해석 가능성을 가능하게 하여, 개별 쌍이 아닌 전체 카테고리의 모든 인스턴스에서 대표 영역을 식별할 수 있도록 하였다.
• 학습된 영역 가중치에 의해 안내되는 모델의 주의 메커니즘은 최종 결정 레이어에서 명시적인 해석 가능성이 없는 주의 메커니즘보다 성능이 뛰어나다.
• 실험 결과 RCN 프레임워크는 높은 정확도와 높은 해석 가능성을 동시에 제공함을 확인하였으며, 모델 투명성이 중요한 실생활 응용 분야에 적합하다.