[논문 리뷰] Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport

Dandan Guo, Long Tian외 3명|arXiv (Cornell University)|2022. 10. 09.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 소수의 샘플로 학습하는 문제를 위해 계층적 최적 운반(H-OT) 프레임워크를 제안한다. 이는 새로운 샘플과 기초 클래스 간의 운반 계획을 학습하여 특징 분포를 적응적으로 校정한다. 기초 클래스를 그들의 샘플들에 대한 분포로 모델링하는 저수준 최적 운반과, 고수준 최적 운반을 통해 적응적인 가중치를 계산하는 방식으로, 미세조정 없이도 일반화 성능을 향상시킨다. 이는 Free-Lunch와 같은 베이스라인보다도 더 적은 생성된 특징 수로도 뛰어난 성능을 보이며, 소수의 샘플로도 효과적인 특징 전이를 가능하게 한다.

ABSTRACT

Few-shot classification aims to learn a classifier to recognize unseen classes during training, where the learned model can easily become over-fitted based on the biased distribution formed by only a few training examples. A recent solution to this problem is calibrating the distribution of these few sample classes by transferring statistics from the base classes with sufficient examples, where how to decide the transfer weights from base classes to novel classes is the key. However, principled approaches for learning the transfer weights have not been carefully studied. To this end, we propose a novel distribution calibration method by learning the adaptive weight matrix between novel samples and base classes, which is built upon a hierarchical Optimal Transport (H-OT) framework. By minimizing the high-level OT distance between novel samples and base classes, we can view the learned transport plan as the adaptive weight information for transferring the statistics of base classes. The learning of the cost function between a base class and novel class in the high-level OT leads to the introduction of the low-level OT, which considers the weights of all the data samples in the base class. Experimental results on standard benchmarks demonstrate that our proposed plug-and-play model outperforms competing approaches and owns desired cross-domain generalization ability, indicating the effectiveness of the learned adaptive weights.

연구 동기 및 목표

• 소수의 샘플 학습에서 분포 校정에 사용되는 히우리스틱 또는 비적응형 전이 가중치의 한계를 해결한다.
• 새로운 샘플과 기초 클래스 간의 원칙적인, 데이터 기반의 유사도를 학습하여 일반화 성능을 향상시킨다.
• 원천 도메인에서 목표 도메인으로의 통계 전이를 통해 효과적인 도메인 간 소수의 샘플 학습을 가능하게 한다.
• 모든 사전 학습된 특징 추출기와 호환되는 플러그 앤 플레이 프레임워크를 개발하여 비용이 많이 드는 미세조정을 피한다.
• 내부 클래스 샘플 가중치와 상호 클래스 유사도를 통합적이고 미분 가능한 방식으로 모델링하기 위해 이중 수준의 최적 운반 체계를 제안한다.

제안 방법

• 새로운 샘플 분포와 기초 클래스 분포 사이의 고수준 최적 운반(H-OT) 문제로 분포 校정 작업을 수식화한다.
• 기초 클래스를 그 자체의 개별 샘플들에 대한 분포로 모델링하여, 새로운 샘플과 기초 클래스 간의 비용을 계산하기 위한 저수준 최적 운반 문제를 도입한다.
• 저수준 최적 운반의 해(즉, 기초 클래스 내 샘플 가중치)를 고수준 최적 운반의 비용 함수로 사용함으로써, 적응적이고 데이터 기반의 유사도 학습을 가능하게 한다.
• 고수준 최적 운반에서 유도된 최적 운반 계획을 통해 적응적인 가중치 행렬을 학습하며, 이는 각 기초 클래스가 새로운 샘플에 대해 기여하는 정도를 다르게 부여한다.
• 사전 학습된 백본을 사용하는 특징 수준에서 작동하는 플러그 앤 플레이 프레임워크를 구축하여 특징 추출기의 미세조정을 피한다.
• 학습된 운반 계획을 적용하여 기초 클래스의 통계(예: 평균 특징)를 새로운 샘플로 전이함으로써 분류 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 히우리스틱 또는 고정된 거리 기반 방법에 비해, 계층적 최적 운반 프레임워크는 기초 클래스와 새로운 클래스 간에 더 효과적이고 적응적인 전이 가중치를 학습할 수 있는가?
• RQ2 기초 클래스를 그 샘플들에 대한 분포로 모델링하는 방식(저수준 최적 운반를 통한)이, 가중치 없는 평균을 사용하는 것보다 클래스 수준의 유사도 표현을 향상시키는가?
• RQ3 제안된 H-OT 방법은 도메인 간 일반화가 가능할까? 특히 도메인 간 소수의 샘플 학습 설정에서 성능이 우수한가?
• RQ4 H-OT를 통해 학습된 적응적 가중치 행렬은 상위-k 선택 방식(예: k=2)에 비해 샘플 효율성과 정확도 측면에서 어떻게 비교되는가?
• RQ5 운반 계획이 기초 클래스와 새로운 클래스 간의 의미적 관계를 얼마나 잘 반영하는가?

주요 결과

• H-OT는 Conv4, Conv6, ResNet10, ResNet18 등 다양한 백본에서 miniImageNet에서 Free-Lunch 베이스라인을 능가하며, 5-way-1-shot 정확도에서 일관된 성능 향상을 보였다.
• H-OT는 단지 50개의 생성된 특징으로 약 68.5%의 정확도를 달성했고, Free-Lunch는 유사한 성능 수준에 도달하기 위해 750개의 생성된 특징이 필요했다.
• 학습된 운반 계획은 의미적으로 관련된 기초 클래스들(예: 'plain'에 대해 'elephant', 'bear')을 성공적으로 식별하여, 방법이 의미적인 상관관계를 포착하고 있음을 시사한다.
• 고정된 비용 함수 조건에서도 H-OT는 Free-Lunch를 능가했으며, 고수준 최적 운반을 통한 적응적 가중치 행렬의 가치를 입증한다.
• 도메인 간 소수의 샘플 학습에서도 강력한 성능 유지를 보이며, 원천 도메인을 초월한 강인성과 일반화 능력을 입증했다.
• 프레임워크는 백본 아키텍처에 관계없이 작동하며, 미세조정이 필요 없어, 어떤 사전 학습된 특징 추출기와도 플러그 앤 플레이 방식으로 통합 가능하다.