[논문 리뷰] Machine learning with limited data

Fupin Yao|arXiv (Cornell University)|2021. 01. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 5

한 줄 요약

이 논문은 데이터 부족 상황에서 소수의 샘플로 이미지 분류를 수행하는 문제를 다루며, 이미지 특징 증강을 위한 스타일 믹싱과 패치 수준의 관계를 모델링하기 위한 공간 주의 메커니즘을 제안한다. 또한 레이블이 없는 타겟 도메인 데이터를 가진 새로운 교차 도메인 소수 샘플 학습 설정을 도입하고, 스타일 전이 및 대비 학습 방법을 제안하여 기존의 기준 모델들을 크게 능가한다. 특히 레이블이 없는 데이터를 확장할수록 성능 향상이 두드러진다.

ABSTRACT

Thanks to the availability of powerful computing resources, big data and deep learning algorithms, we have made great progress on computer vision in the last few years. Computer vision systems begin to surpass humans in some tasks, such as object recognition, object detection, face recognition and pose estimation. Lots of computer vision algorithms have been deployed to real world applications and started to improve our life quality. However, big data and labels are not always available. Sometimes we only have very limited labeled data, such as medical images which requires experts to label them. In this paper, we study few shot image classification, in which we only have very few labeled data. Machine learning with little data is a big challenge. To tackle this challenge, we propose two methods and test their effectiveness thoroughly. One method is to augment image features by mixing the style of these images. The second method is applying spatial attention to explore the relations between patches of images. We also find that domain shift is a critical issue in few shot learning when the training domain and testing domain are different. So we propose a more realistic cross-domain few-shot learning with unlabeled data setting, in which some unlabeled data is available in the target domain. We propose two methods in this setting. Our first method transfers the style information of the unlabeled target dataset to the samples in the source dataset and trains a model with stylized images and original images. Our second method proposes a unified framework to fully utilize all the data. Both of our methods surpass the baseline method by a large margin.

연구 동기 및 목표

• 제한된 레이블이 있는 데이터에서 소수 샘플 이미지 분류 문제를 해결하며, 특히 의료 영상과 같은 실생활 시나리오에서의 적용을 목표로 한다.
• 학습 도메인과 테스트 도메인이 다를 때 발생하는 도메인 이동 문제를 다룬다.
• 레이블이 없는 타겟 도메인 데이터에 접근 가능한 현실적인 교차 도메인 소수 샘플 학습 설정을 제안한다.
• 레이블이 있는 소스 데이터와 레이블이 없는 타겟 데이터를 효과적으로 활용하여 일반화 성능을 향상시키는 방법을 개발한다.
• 대규모 레이블이 있는 데이터셋에 의존하는 것을 줄이고 도메인 이동에 대한 강건성을 향상시켜 소수 샘플 학습을 실생활에 적용 가능하게 한다.

제안 방법

• 학습 중에 한 이미지의 스타일 특징을 다른 이미지로 이전시켜 입력 표현을 증강하고 일반화 성능을 향상시키기 위해 스타일 믹싱을 적용한다.
• 이미지 패치 간의 관계를 모델링하기 위해 공간 주의 메커니즘을 도입하여, 낮은 데이터 환경에서의 특징 학습을 향상시킨다.
• 도메인에 의존하지 않는 스타일 전이 방법을 제안하여 타겟 도메인의 스타일을 소스 도메인 이미지에 적용함으로써 도메인 불변 특징 학습을 가능하게 한다.
• 레이블이 있는 소스 데이터, 클러스터링된 타겟 데이터의 가짜 레이블, 그리고 클러스터링되지 않은 레이블이 없는 데이터를 통합한 통합 프레임워크를 설계하여 공동 학습을 수행한다.
• 메모리 백업을 활용한 대비 학습을 구현하여 소스 및 타겟 도메인 간의 특징을 정렬하며, 레이블이 있는 데이터와 레이블이 없는 데이터를 모두 활용한다.
• 반복적인 클러스터링과 모델 재학습을 통해 가짜 레이블을 정교화하고 시간이 지남에 따라 특징 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 스타일 믹싱을 통한 이미지 특징 증강은 소수 샘플 분류 성능에 어떻게 기여하는가?
• RQ2 제한된 데이터에서 소수 샘플 학습 시 공간 주의 메커니즘이 특징 표현에 얼마나 기여하는가?
• RQ3 레이블이 없는 타겟 도메인 데이터는 교차 도메인 설정에서 소수 샘플 일반화에 크게 기여하는가?
• RQ4 레이블이 없는 타겟 도메인 데이터에서 소스 도메인 데이터로의 스타일 전이는 소수 샘플 학습에서 도메인 적응에 얼마나 효과적인가?
• RQ5 가짜 레이블이 있는 데이터와 레이블이 없는 데이터를 활용한 대비 학습은 소수 샘플 설정에서 도메인 일반화에 얼마나 효과적인가?

주요 결과

• 제안된 스타일 믹싱 방법은 소수 샘플 이미지 분류 벤치마크에서 최신 기술 성능(SOTA)을 달성하며, 기준 모델 대비 뚜렷한 정확도 향상을 보였다.
• 공간 주의 메커니즘은 국소적이고 전반적인 맥락을 소수의 예시에서 효과적으로 포착함으로써 특징의 분류 능력을 향상시켰다.
• 레이블이 없는 데이터를 가진 교차 도메인 소수 샘플 학습 설정에서 대비 학습 방법은 DomainNet에서 평균 정확도 63.16%를 기록하여 기준 모델보다 4个百分点 이상 높였다.
• 레이블이 없는 타겟 데이터셋을 2,000~3,000개에서 더 큰 크기로 확장함에 따라 성능 향상이 크게 나타났으며, clipart에서는 69.78%, painting에서는 60.94%, sketch에서는 58.76%의 정확도를 기록했다.
• 레이블이 없는 데이터와 대비 학습의 조합은 도메인 이동에 대한 강건성을 크게 향상시켰으며, 낮은 데이터 환경에서 자기지도 신호의 효과성을 입증했다.
• ADDA 및 스타일 기반 접근 방식과 같은 기존 기준 모델들을 능가함으로써, 레이블이 있는 데이터와 레이블이 없는 데이터를 함께 사용하는 것이 도메인 적응에서 가치가 있음을 확인했다.