[논문 리뷰] Transfer learning based few-shot classification using optimal transport mapping from preprocessed latent space of backbone neural network

Tomáš Chobola, Daniel Vašata외 1명|arXiv (Cornell University)|2021. 02. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 9

한 줄 요약

이 논문은 사전 처리된 백본 신경망의 잠재 공간에서 최적 운반 맵핑을 사용한 새로운 소수 분류 방법을 제안한다. 잠재 공간 변환(Latent Space Transform, LST)을 적용하여 클래스 분포를 정규분포로 정규화하고, 비라벨 데이터를 활용해 싱크호른 기반 최적 운반을 통한 반복적 클래스 중심 개선을 통해, 최신 기술 수준의 성능을 달성하였으며, 메타DL 챌린지 2020에서 2위를 기록하였다.

ABSTRACT

MetaDL Challenge 2020 focused on image classification tasks in few-shot settings. This paper describes second best submission in the competition. Our meta learning approach modifies the distribution of classes in a latent space produced by a backbone network for each class in order to better follow the Gaussian distribution. After this operation which we call Latent Space Transform algorithm, centers of classes are further aligned in an iterative fashion of the Expectation Maximisation algorithm to utilize information in unlabeled data that are often provided on top of few labelled instances. For this task, we utilize optimal transport mapping using the Sinkhorn algorithm. Our experiments show that this approach outperforms previous works as well as other variants of the algorithm, using K-Nearest Neighbour algorithm, Gaussian Mixture Models, etc.

연구 동기 및 목표

• 사전 학습된 백본 네트워크의 잠재 특징 공간에서 비정규분포 문제를 해결함으로써, 정규분포 가정에 의존하는 후속 소수 분류 방법의 성능 저하를 완화한다.
• 잠재 공간을 더 잘 정규분포에 가깝게 변형시켜 최적 운반 기반 맵핑의 효과를 높임으로써 소수 분류 정확도를 향상시킨다.
• 비라벨 데이터를 활용해 싱크호른 최적 운반를 통한 반복적 중심 개선을 통해 추론 중에 일반화 능력을 향상시킨다.
• 기존 방법들(거듭제곱 변환 및 다른 클러스터링 기반 기준)을 초월하는 강력한 메타학습 파이프라인을 개발하여 1-shot 및 5-shot 설정 모두에서 성능을 확보한다.
• 제한된 런타임 등의 실질적 경쟁 조건을 고려해 경량 ResNet 기반 백본을 사용함으로써 높은 정확도를 유지하면서도 실용성을 확보한다.

제안 방법

• 백본 네트워크의 잠재 공간에서 특징 벡터를 재매개변수화하기 위해 잠재 공간 변환(Latent Space Transform, LST) 알고리즘을 적용하며, 비대칭성을 줄이고 정규분포에 가깝게 만들기 위해 거듭제곱 변환을 사용한다.
• 변환된 잠재 공간 내에서 클래스 중심 간 최적 운반 맵을 싱크호른 알고리즘을 통해 계산하여, 라벨된 및 비라벨된 데이터의 지원을 바탕으로 새로운 클래스 프로토타입을 정확하게 정렬한다.
• 기대값 최대화 방식의 절차를 반복적으로 적용하여 중심을 개선하며, 이는 비라벨 샘플을 가장 가까운 중심에 할당하고, 그 중심을 가중치 기반 기여도에 따라 갱신하는 방식으로 이루어진다.
• LST 전처리된 특징를 메타학습 프레임워크에 통합하여, 쿼리 샘플을 개선된 클래스 중심에 가장 가까운 이웃 할당 방식으로 분류한다.
• 기존의 최대 사후 확률(MAP) 추론 단계를 대체하여 KNN, GMM 등의 분류기로 교체함으로써, LST 전처리의 영향을 격리하고 정확도에 대한 탄력성을 평가한다.
• LST 적용 이전에 데이터 증강 기법(랜덤 밝기/포화 조정 및 90도 회전)을 사용하여 백본 네트워크를 훈련함으로써 특징 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 학습된 백본 네트워크의 잠재 공간을 더 잘 정규분포에 가깝게 변형시키는 것이 소수 분류 성능 향상에 기여하는가?
• RQ2 비라벨 데이터를 활용해 반복적 중심 개선을 수행하는 최적 운반를 적용할 경우, 기존 클러스터링 또는 MAP 추론 대비 더 정확한 클래스 프로토타입을 도출할 수 있는가?
• RQ3 다양한 소수 벤치마크에서 정확도 및 통계적 유의성 측면에서 제안된 잠재 공간 변환(LST)이 거듭제곱 변환(PT)보다 우월한가?
• RQ4 런타임 제약 조건 하에서 경량 ResNet 기반 백본을 사용할 경우, LST와 최적 운반을 조합하여 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 LST로 얻는 성능 향상은 MAP 기반 추론에 국한되지 않고, 다양한 분류 헤드(KNN, GMM 등)에서도 동일하게 유의미한가?

주요 결과

• LST+MAP 모델은 5-shot CIFAR-FS 벤치마크에서 90.73% ± 0.15%의 정확도를 기록했으며, CUB에서는 94.09% ± 0.09%를 달성하여 PT+MAP 기준보다 뛰어난 성능을 보였다.
• 대응 t-검정 결과, 1-shot 및 5-shot 설정에서 CIFAR-FS와 CUB 모두에서 LST+MAP가 PT+MAP를 통계적으로 유의미하게 뛰어넘었으며(p값 < 0.0001), 유일한 예외는 CUB의 5-shot 설정(p = 0.78)이었다.
• MAP 추론 단계를 생략하고 LST 전처리된 특징에 KNN 또는 GMM을 적용한 결과도 경쟁 가능한 성능를 보였으며, 이는 LST 전처리의 강건성을 입증한다.
• LST 방법은 거듭제곱 변환 기준보다 유의미하게 뛰어나며, 모든 테스트된 데이터셋 및 샷 설정에서 개선 효과를 보였다.
• GPU 백엔드를 사용한 1-shot 설정에서는 평균 0.0026초, 5-shot 설정에서는 0.003초의 추론 시간을 기록하여 계산 효율성이 뛰어나다는 것을 확인했다.
• 메타DL 챌린지 2020에서 LST 기반 방법은 최종 랭킹에서 2위를 차지하여, 실제 경쟁 환경 하에서도 효과성이 입증되었다.