[논문 리뷰] A Broader Study of Cross-Domain Few-Shot Learning

Yunhui Guo, Noel Codella외 6명|arXiv (Cornell University)|2019. 12. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 68인용 수 16

한 줄 요약

이 논문은 자연 이미지와는 크게 다름에도 불구하고 다양한 영상 도메인—예를 들어 위성, 피부과, 영상의학 영상—에서 소수 샘플 학습을 평가하는 브로드어 스터디 오브 크로스도메인 희소 샘플 학습(BSCD-FSL) 벤치마크를 소개한다. 놀랍게도 최신 메타학습 방법들은 평균적으로 단순 미세조정보다 12.8% 성능이 열 劣하고, 일부 경우에서는 무작위 가중치를 가진 네트워크보다도 성능이 열 劣하는 것으로 나타나, 현재의 접근 방식이 실제 세계의 크로스도메인 상황에서 가지는 한계를 드러낸다.

ABSTRACT

Recent progress on few-shot learning largely relies on annotated data for meta-learning: base classes sampled from the same domain as the novel classes. However, in many applications, collecting data for meta-learning is infeasible or impossible. This leads to the cross-domain few-shot learning problem, where there is a large shift between base and novel class domains. While investigations of the cross-domain few-shot scenario exist, these works are limited to natural images that still contain a high degree of visual similarity. No work yet exists that examines few-shot learning across different imaging methods seen in real world scenarios, such as aerial and medical imaging. In this paper, we propose the Broader Study of Cross-Domain Few-Shot Learning (BSCD-FSL) benchmark, consisting of image data from a diverse assortment of image acquisition methods. This includes natural images, such as crop disease images, but additionally those that present with an increasing dissimilarity to natural images, such as satellite images, dermatology images, and radiology images. Extensive experiments on the proposed benchmark are performed to evaluate state-of-art meta-learning approaches, transfer learning approaches, and newer methods for cross-domain few-shot learning. The results demonstrate that state-of-art meta-learning methods are surprisingly outperformed by earlier meta-learning approaches, and all meta-learning methods underperform in relation to simple fine-tuning by 12.8% average accuracy. Performance gains previously observed with methods specialized for cross-domain few-shot learning vanish in this more challenging benchmark. Finally, accuracy of all methods tend to correlate with dataset similarity to natural images, verifying the value of the benchmark to better represent the diversity of data seen in practice and guiding future research.

연구 동기 및 목표

• 의료 및 위성 영상과 같은 실제 영상 도메인을 포함하지 않는 희소 샘플 학습 벤치마크의 격차를 해소하기 위해.
• 기본 클래스와 새로운 클래스 사이에 큰 도메인 이동이 있을 경우 메타학습 및 전이학습 방법의 성능을 조사하기 위해.
• 특히 크로스도메인 희소 샘플 학습을 위해 설계된 방법들이 극도로 다를 수 있는 도메인으로도 효과적으로 일반화되는지 평가하기 위해.
• 다양한 영상 획득 방법을 고려한 실제 희소 샘플 학습 시나리오에서 향후 연구를 안내할 표준화된 벤치마크를 제공하기 위해.

제안 방법

• 자연 영상(예: CropDiseases), 위성(EuroSAT), 피부과(ISIC), 영상의학(ChestX)에서 온 데이터셋을 포함하는 BSCD-FSL 벤치마크를 제안하며, 자연 영상과 점점 더 다름.
• 도메인 이질성 측정을 위한 세 가지 수직 기준 정의: 시점 왜곡, 의미적 내용, 색상 깊이.
• 소스 도메인으로 ImageNet에서 모델을 훈련하고, 메타학습 데이터 없이 타겟 도메인에서 평가하며, 클래스 집합이 서로 겹치지 않도록 함.
• 최신 메타학습 방법, 전이학습 접근법, 크로스도메인 전용 방법을 모두의 도메인에서 평가함.
• 성능에 기반해 다섯 개의 사전 훈련 모델(Imagenet, CIFAR100, DTD, CUB, Caltech256) 중 최적의 사전 훈련 모델을 선택하는 인크리멘탈 다중모델 선택 전략(IMS-f)을 구현함.
• 각 데이터셋당 600개의 5-way 50-shot 에피소드를 사용하여 강력한 평가를 확보하고, 시각화를 통해 모델 선택 빈도를 분석함.

실험 결과

연구 질문

• RQ1 의료 및 위성 영상과 같이 자연 영상과 극도로 다를 수 있는 도메인에서 최신 메타학습 방법의 성능은 어떻게 되는가?
• RQ2 희소 샘플 학습 방법의 성능이 타겟 데이터셋이 자연 영상과 얼마나 유사한지에 따라 어느 정도 영향을 받는가?
• RQ3 미세조정을 통한 전이학습이 크로스도메인 희소 샘플 학습에서 특화된 메타학습 방법보다 성능이 뛰어날 수 있는가?
• RQ4 크로스도메인 희소 샘플 학습을 위해 설계된 방법들이 더 넓고 더 도전적인 벤치마크에서 그 이점을 유지할 수 있는가?
• RQ5 어느 사전 훈련 모델이 다양한 타겟 도메인에서 전이학습에 가장 효과적인가? 그리고 모델 선택은 데이터셋에 따라 어떻게 달라지는가?

주요 결과

• 모든 데이터셋과 샷 수준에서 최신 메타학습 방법들은 단순한 미세조정보다 평균적으로 12.8% 성능이 열 劣함.
• 일부 사례에서는 메타학습 접근법이 무작위 가중치를 가진 네트워크보다도 성능이 열 劣하여, 높은 도메인 이동 조건에서 일반화 실패를 시사함.
• 모든 방법의 성능는 자연 영상과의 유사성과 강하게 상관관계가 있음. 이는 벤치마크가 실제 세계의 다양성을 잘 반영하고 있음을 검증함.
• 인크리멘탈 다중모델 선택 전략(IMS-f)은 단일 모델 전이 대비 EuroSAT에서 최대 3.52% 향상되고 ISIC에서는 0.69% 향상됨.
• EuroSAT와 CropDiseases에서는 더 많은 사전 훈련 모델을 추가해도 이득이 거의 없어, ImageNet 특징가 이미 핵심 특성을 잘 포괄하고 있음을 시사함.
• 모델 선택 빈도는 데이터셋에 따라 크게 다름: CropDiseases에서는 98.6%의 경우 ImageNet이 선택되었고, ISIC는 CIFAR100과 DTD로 사전 훈련된 모델을 선호함.