[논문 리뷰] Explanation-Guided Training for Cross-Domain Few-Shot Classification

Jiamei Sun, Sebastian Lapuschkin외 4명|arXiv (Cornell University)|2020. 07. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 19

한 줄 요약

이 논문은 중간 특징 맵에서의 계층별 관련성 전파(LRP) 점수를 활용하여 훈련 중에 특징을 동적으로 가중하고 개선함으로써 교차 도메인 소수 샘플 분류를 위한 설명 기반 훈련을 제안한다. 이 방법은 세 가지 FSC 모델(RelationNet, CAN, GNN)이 사용된 다섯 개의 데이터셋(miniImageNet, CUB, Cars, Places, Plantae)에서 일관된 성능 향상과 소스 도메인에 대한 과적합 감소를 보이며 모델의 일반화 능력을 향상시킨다.

ABSTRACT

Cross-domain few-shot classification task (CD-FSC) combines few-shot classification with the requirement to generalize across domains represented by datasets. This setup faces challenges originating from the limited labeled data in each class and, additionally, from the domain shift between training and test sets. In this paper, we introduce a novel training approach for existing FSC models. It leverages on the explanation scores, obtained from existing explanation methods when applied to the predictions of FSC models, computed for intermediate feature maps of the models. Firstly, we tailor the layer-wise relevance propagation (LRP) method to explain the predictions of FSC models. Secondly, we develop a model-agnostic explanation-guided training strategy that dynamically finds and emphasizes the features which are important for the predictions. Our contribution does not target a novel explanation method but lies in a novel application of explanations for the training phase. We show that explanation-guided training effectively improves the model generalization. We observe improved accuracy for three different FSC models: RelationNet, cross attention network, and a graph neural network-based formulation, on five few-shot learning datasets: miniImagenet, CUB, Cars, Places, and Plantae. The source code is available at https://github.com/SunJiamei/few-shot-lrp-guided

연구 동기 및 목표

• 소수 샘플 학습에서 발생하는 도메인 이동 문제를 해결하기 위해, 한 도메인에서 훈련된 모델이 새로운 도메인으로 일반화하지 못하는 문제를 다룬다.
• 중간 특징 맵에서 유도된 설명 점수를 훈련 중에 활용하여 모델의 일반화 능력을 향상시킬 수 있는지 탐구한다.
• 소스 도메인에 과적합되는 것을 줄이기 위해 설명 기반 특징 가중치를 사용하는 모델 독립적인 훈련 전략을 개발한다.
• 다양한 FSC 모델과 교차 도메인 소수 샘플 학습 벤치마크에서 설명 기반 훈련의 효과성을 평가한다.

제안 방법

• 소수 샘플 분류 모델의 예측을 설명하기 위해 LRP를 적응하여 최종 예측에서 중간 특징 맵으로 관련성 점수를 역전파한다.
• 각 샘플에 대해 레이블별 LRP 관련성 점수를 계산하여, 예측된 클래스에 기여하는 특징 맵 내 뉴런의 기여도를 할당한다.
• 원본 특징과 해당 관련성 점수를 곱하여 LRP 가중 특징 맵을 구성함으로써 정보가 많은 특징을 강조하고 덜 관련성이 있는 특징은 억제한다.
• 훈련 과정에 LRP 가중 특징를 통합하여 샘플 및 레이블에 따라 동적으로 변하는 특징 가중 메커니즘을 구현한다.
• 성능 향상을 위해 설명 기반 훈련을 특징별 변환(예: 배치 정규화 유사 연산)과 결합한다.
• 훈련 중에 LRP 가중 특징를 모델의 입력으로 사용함으로써 네트워크가 더 견고하고 일반화 능력이 뛰어난 표현을 학습하도록 한다.

실험 결과

연구 질문

• RQ1 중간 특징 맵에서 유도된 설명 점수를 소수 샘플 분류 모델의 훈련을 안내하는 데 효과적으로 활용할 수 있는가?
• RQ2 설명 기반 훈련은 소스 도메인에 대한 과적합을 줄이고 교차 도메인 소수 샘플 학습에서의 일반화 능력을 향상시키는가?
• RQ3 LRP 기반 특징 가중치 사용이 학습된 특징 표현의 다양성과 균형에 어떤 영향을 미치는가?
• RQ4 설명 기반 훈련은 다양한 FSC 아키텍처(예: RelationNet, CAN, GNN)에 효과적으로 적용될 수 있는가?

주요 결과

• 설명 기반 훈련은 관계 네트워크(RelationNet), 교차 어텐션 네트워크(CAN), 그래프 신경망 기반 모델이라는 세 가지 다른 FSC 모델에서 소수 샘플 분류 정확도를 크게 향상시킨다.
• 이 방법은 소수 샘플 학습 벤치마크 다섯 곳(miniImageNet, CUB, Cars, Places, Plantae)에서 일관된 성능 향상을 달성한다.
• 설명 기반 훈련 후 특징 표현의 분산($S^2$ 및 95%-45% 분위수 차이)이 감소하여 더 균형 잡히고 다양한 특징 학습이 이루어지고 있음을 나타낸다.
• 특징 분산 감소의 원인이 낮은 일阶 통계량 때문이 아니며, 일부 경우(예: CAN)에서는 특징 $f$의 평균이 증가하는 반면 $S^2$는 감소함으로써 특징 안정성이 향상됨을 시사한다.
• qualitative LRP 히트맵 분석 결과, 정확한 예측에서는 의미적으로 관련 있는 이미지 영역(예: 개의 머리, 창문 테두리)에 초점을 맞추는 반면, 잘못된 레이블에 대해서는 부적절하거나 대조적인 특징을 강조하는 것으로 나타났다.
• 설명 기반 훈련과 특징별 변환의 조합은 추가적인 성능 향상을 이끌어내어 상호 보완적인 최적화 효과가 있음을 시사한다.