[논문 리뷰] Alleviating the Sample Selection Bias in Few-shot Learning by Removing Projection to the Centroid

Jing Xu, Xu Luo외 4명|arXiv (Cornell University)|2022. 10. 30.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 소수 샘플 학습에서 샘플 선택 편향을 완화하기 위해 작업 중심점 방향으로의 투영을 제거하는 Task Centroid Projection Removing (TCPR)을 제안한다. 유사한 기본 특징을 사용해 작업 중심점을 추정하고, 이 성분을 투영하여 제거함으로써 TCPR는 모델의 강건성과 정확도를 향상시키며, 특히 저샷 설정에서 일관된 성능 향상(최대 3.87% 정확도 향상)을 보이며 10개의 다양한 데이터셋에서 유사한 성능 향상을 기록한다.

ABSTRACT

Few-shot learning (FSL) targets at generalization of vision models towards unseen tasks without sufficient annotations. Despite the emergence of a number of few-shot learning methods, the sample selection bias problem, i.e., the sensitivity to the limited amount of support data, has not been well understood. In this paper, we find that this problem usually occurs when the positions of support samples are in the vicinity of task centroid -- the mean of all class centroids in the task. This motivates us to propose an extremely simple feature transformation to alleviate this problem, dubbed Task Centroid Projection Removing (TCPR). TCPR is applied directly to all image features in a given task, aiming at removing the dimension of features along the direction of the task centroid. While the exact task centroid cannot be accurately obtained from limited data, we estimate it using base features that are each similar to one of the support features. Our method effectively prevents features from being too close to the task centroid. Extensive experiments over ten datasets from different domains show that TCPR can reliably improve classification accuracy across various feature extractors, training algorithms and datasets. The code has been made available at https://github.com/KikimorMay/FSL-TCBR.

연구 동기 및 목표

• 지원 샘플이 작업 중심점에 가까울 때 소수 샘플 학습에서 성능 불안정성의 근본 원인을 규명하는 것.
• 지원 데이터가 대표성이 없거나 모든 클래스의 공통 패턴과 가까울 때 발생하는 샘플 선택 편향 문제를 해결하는 것.
• 백본 네트워크나 학습 절차를 수정하지 않고도 일반화 가능한 가벼운 특징 변환 기법을 제안하는 것.
• 작업 중심점 방향에 포함된 공통적이며 모호한 패턴의 영향을 제거하여 소수 샘플 일반화 성능을 향상시키는 것.

제안 방법

• 각 지원 특징에 대해 가장 유사한 상위-k개의 기본 샘플을 사용해 작업 중심점 방향을 추정함으로써, 제한된 지원 데이터 상황에서도 근사가 가능하도록 한다.
• 각 이미지 특징이 추정된 작업 중심점 벡터에 투영된 성분을 제거하기 위해 선형 변환을 적용함으로써, 공통 성분을 효과적으로 제거한다.
• 모든 특징에 동일하게 적용되기 때문에, 특정 특징 추출기나 학습 방법에 관계없이 적용 가능하다.
• 기본 특징이 신규 특징의 방향과 가까운 경우 강한 상관관계를 가지며 정보가 많다는 가정에 기반하여 작업 중심점의 근사가 이루어진다.
• 계산적으로 효율적이며, 최소한의 수정으로 어떤 소수 샘플 학습 파이프라인에도 통합할 수 있다.
• 기본 데이터와 신규 데이터 간의 특징 유사성을 활용하여, 데이터가 적은 환경에서 작업 중심점의 추정을 안정화시킨다.

실험 결과

연구 질문

• RQ1 왜 지원 샘플이 작업 중심점에 가까울 때 소수 샘플 분류 성능이 크게 변동하는가?
• RQ2 작업 중심점 방향이 소수 샘플 학습에서 샘플 선택 편향에 어떻게 기여하는가?
• RQ3 작업 중심점 방향으로의 투영을 제거하면 분류의 강건성과 정확도가 향상되는가?
• RQ4 지원 데이터가 부족할 때 작업 중심점을 최적으로 추정하는 방법은 무엇인가?
• RQ5 제안된 변환 기법은 다양한 데이터셋과 특징 추출기 간에 일반화 가능한가?

주요 결과

• 지원 샘플이 작업 중심점에 가까워질수록 분류 정확도가 크게 떨어지고 분산이 증가하여 샘플 선택 편향의 존재가 확인된다.
• 1-shot 설정에서 TCPR는 최대 3.87%까지 정확도 향상을 기록했으며, 10개의 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• 다양한 특징 추출기에서 1-shot 5-way 작업에서 평균 4.4% 향상, 10-way 5-shot 작업에서 평균 1.5% 향상 달성.
• 제거 실험 결과, 최적의 기본 이웃 수 $k$는 도메인 유사성에 따라 달라지며, 기본 분포에 가까운 데이터셋일수록 더 큰 $k$가 필요하다.
• Grad-CAM 시각화 결과, TCPR는 모델의 주의를 공통 배경 패턴이 아닌 개체 수준의 특징으로 이동시킴을 확인했다.
• 기본 데이터셋과 신규 데이터셋 간 도메인 차이가 클 경우에도 효과를 보이며, 도메인 이동에 대한 강건성을 입증했다.