[논문 리뷰] Ranking Distance Calibration for Cross-Domain Few-Shot Learning

Li Pan, Shaogang Gong외 2명|arXiv (Cornell University)|2021. 12. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 4

한 줄 요약

이 논문은 교차 도메인 소수 학습(CD-FSL)을 위한 랭킹 거리 캘리브레이션(RDC)을 제안하며, 타겟 도메인에서 k-상호근접 이웃을 재정렬하고 비선형 부분공간을 통해 거리를 캘리브레이션함으로써 거리 기반 분류 성능을 향상시킨다. RDC-FT는 캘리브레이션된 거리를 임bedding하기 위해 쿨백-라이버러 발산 손실을 사용하여 모델을 미세조정함으로써 여덟 개의 다양한 타겟 도메인에서 최신 기준 성능을 달성하며 일관된 성능 향상을 보인다.

ABSTRACT

Recent progress in few-shot learning promotes a more realistic cross-domain setting, where the source and target datasets are from different domains. Due to the domain gap and disjoint label spaces between source and target datasets, their shared knowledge is extremely limited. This encourages us to explore more information in the target domain rather than to overly elaborate training strategies on the source domain as in many existing methods. Hence, we start from a generic representation pre-trained by a cross-entropy loss and a conventional distance-based classifier, along with an image retrieval view, to employ a re-ranking process for calibrating a target distance matrix by discovering the reciprocal k-nearest neighbours within the task. Assuming the pre-trained representation is biased towards the source, we construct a non-linear subspace to minimise task-irrelevant features therewithin while keep more transferrable discriminative information by a hyperbolic tangent transformation. The calibrated distance in this target-aware non-linear subspace is complementary to that in the pre-trained representation. To impose such distance calibration information onto the pre-trained representation, a Kullback-Leibler divergence loss is employed to gradually guide the model towards the calibrated distance-based distribution. Extensive evaluations on eight target domains show that this target ranking calibration process can improve conventional distance-based classifiers in few-shot learning.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인이 분포와 클래스 레이블 면에서 크게 다를 때 발생하는 도메인 이동 문제와 분리된 레이블 공간 문제를 해결하기 위해.
• 소스 도메인에서 최적화된 사전 훈련된 표현이 타겟 도메인으로의 일반화 능력이 떨어지는 편향을 줄이기 위해.
• 타겟 도메인에서 k-상호근접 이웃를 사용한 재정렬을 통해 더 신뢰할 수 있는 양성 샘플을 발견하여 CD-FSL에서 거리 기반 분류 성능을 향상시키기 위해.
• 기존의 모델 학습 방법과 수직적이고 상호보완적인 방법을 개발하여 미세조정 또는 비-미세조정 프레임워크와의 탄력적인 통합을 가능하게 하기 위해.
• 작업에 관련 없는 특징을 최소화하면서도 이식 가능한 지식을 유지하는 방식으로 거리 행렬을 캘리브레이션하여 분류의 판별 능력을 향상시키기 위해.

제안 방법

• 논문은 교차 엔트로피 손실을 사용한 사전 훈련된 표현과 전통적인 거리 기반 분류기로 구성된 모델을 기반으로 하며, CD-FSL를 이미지 검색 과제로 간주한다.
• 타겟 도메인에서 초기 랭킹의 정확도를 향상시키기 위해 k-상호근접 이웃 탐색 과정을 적용하여 k-가까운 이웃 목록을 확장한다.
• 기존 랭킹 목록과 확장된 랭킹 목록 간의 자카르드 거리를 계산하여 쌍별 거리를 재계산함으로써 더 정확한 거리 행렬을 구성한다.
• 하이퍼볼릭 탄젠트 변환을 통해 비선형 부분공간을 학습하여 소스 표현을 투영함으로써 작업에 관련 없는 특징의 전달를 최소화하면서도 판별 정보를 유지한다.
• 캘리브레이션된 거리 행렬을 원래 사전 훈련된 거리 행렬과 융합하여 강력한 하이브리드 거리 측정법을 구성한다.
• RDC-FT는 캘리브레이션된 거리 기반 분포와 특징 분포를 점진적으로 일치시키기 위해 쿨백-라이버러 발산 손실을 사용하여 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 k-상호근접 이웃 기반 재정렬이 교차 도메인 소수 학습에서 거리 캘리브레이션에 기여하는가?
• RQ2 비선형이고 작업 적응형 부분공간을 학습함으로써 소스 도메인 사전 훈련된 표현의 편향을 CD-FSL에서 줄일 수 있는가?
• RQ3 캘리브레이션된 거리 행렬이 미분 가능한 손실을 통해 모델에 효과적으로 통합될 수 있는가?
• RQ4 제안된 방법은 다양한 새로운 타겟 도메인에서 최신 기준 기술과 비교해 어떻게 성능을 내는가?
• RQ5 이 방법은 데이터 증강과 같은 다른 훈련 전략과 탄력적으로 조합되어 성능 향상을 이룰 수 있는가?

주요 결과

• RDC-FT는 여덟 개의 타겟 도메인에서 최신 기준 성능을 달성하며, NPC 및 데이터 증강 기반 베이스라인에 비해 일관된 성능 향상을 보였다.
• 5-way 1-shot 설정에서 데이터 증강과 조합했을 때 RDC-FT는 CropDisease에서 정확도를 71.94%에서 84.73%로 12.47% 향상시켰다.
• 쿨백-라이버러 발산 손실은 대부분의 도메인에서 MSE 및 교차 엔트로피 손실을 능가했으며, Places, Plantae, EuroSAT에서 특히 유리한 성능을 보여, 부드러운 거리 분포의 이점이 있음을 시사한다.
• t-SNE 시각화 결과 RDC-FT는 내부 클래스 변동성을 줄이고 클래스 간 간격을 증가시켜 더 판별력 있는 표현을 생성함을 보여주었다.
• RDC는 데이터 증강 방법과 조합했을 때 항상 성능 향상을 보였으며, 이는 다른 훈련 전략과의 일반화 가능성과 호환성을 입증한다.
• RDC의 실패 케이스는 RDC-FT에 의해 수정되었으며, 이는 미세조정 과정이 캘리브레이션 정보를 표현 공간에 효과적으로 통합함을 확인한다.