[논문 리뷰] Self-training for Few-shot Transfer Across Extreme Task Differences

Cheng Perng Phoo, Bharath Hariharan|arXiv (Cornell University)|2020. 10. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 17

한 줄 요약

이 논문은 사전 훈련된 ImageNet 표현을 극단적인 타겟 도메인(예: X-ray, 위성)에 적응시키기 위해 무라벨 타겟 데이터를 사용하는 자기 훈련 방법인 STARTUP을 제안한다. 사전 훈련된 교사 모델이 학습한 클래스 그룹화 행동을 학생 표현에 흡수함으로써, BSCD-FSL 벤치마크에서 소수의 샘플로 전이 성능을 평균 2.9점 향상시켰으며, 표준 전이 학습 및 자기지도 학습보다 뛰어난 성능을 보였다.

ABSTRACT

Most few-shot learning techniques are pre-trained on a large, labeled "base dataset". In problem domains where such large labeled datasets are not available for pre-training (e.g., X-ray, satellite images), one must resort to pre-training in a different "source" problem domain (e.g., ImageNet), which can be very different from the desired target task. Traditional few-shot and transfer learning techniques fail in the presence of such extreme differences between the source and target tasks. In this paper, we present a simple and effective solution to tackle this extreme domain gap: self-training a source domain representation on unlabeled data from the target domain. We show that this improves one-shot performance on the target domain by 2.9 points on average on the challenging BSCD-FSL benchmark consisting of datasets from multiple domains. Our code is available at https://github.com/cpphoo/STARTUP.

연구 동기 및 목표

• 소스 도메인(예: ImageNet)에서 타겟 도메인(예: 의료 또는 위성 영상)으로의 전이가 매우 다를 경우 소수의 샘플로 전이 학습 및 소수의 샘플 학습 방법이 실패하는 문제를 해결하기 위해.
• 사전 훈련된 모델에서 유도되는 인도크티브 비이즈가 부족하여 소규모 무라벨 데이터셋에서 자기지도 학습이 성능이 떨어지는 한계를 극복하기 위해.
• 사전 훈련된 표현을 유지하면서 타겟 도메인의 무라벨 데이터를 활용해 표현을 적응시키는 방법을 개발하기 위해.
• 특히 자원이 부족하고 도메인 간 격리가 큰 상황에서의 도메인 간 소수의 샘플 학습에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 소스 도메인에서 사전 훈련된 ImageNet 분류기(즉, '교사')를 훈련하고, 이 모델을 무라벨 타겟 도메인 데이터에 적용하여 학습된 유사도 그룹화 기반의 가짜 레이블을 생성한다.
• 이 가짜 레이블을 사용해 타겟 도메인에서 교사 모델이 유도한 그룹화를 재현하는 표현을 학습할 수 있도록 학생 네트워크를 훈련시킨다.
• 학습 중에 학생 네트워크에 대비적 자기지도 학습(SimCLR)을 적용하여 특징의 구분 능력을 향상시키면서도 교사의 그룹화 구조를 유지한다.
• 유용한 인도크티브 비이즈를 유지하기 위해 학생 네트워크를 사전 훈련된 ImageNet 가중치로 초기화하고, 가짜 레이블이 부여된 타겟 데이터와 자기지도 대비 손실을 함께 사용해 미세조정한다.
• t-SNE 시각화를 통해 학습 후 학생 표현이 더 명확한 분류 경계를 가지게 되었음을 확인한다.
• 무라벨 데이터의 양, 초기화 전략, 그리고 대체 자기지도 학습 방법(예: 회전 기반)이 성능에 미치는 영향을 평가하기 위해 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 소스 도메인과 타겟 도메인이 극도로 다를 경우, 타겟 도메인의 무라벨 데이터를 사용한 자기 훈련이 소수의 샘플 전이 성능을 향상시킬 수 있는가?
• RQ2 사전 훈련된 분류기가 타겟 도메인에 대해 유도한 그룹화가 표현 학습에 유용한 인도크티브 비이즈를 담고 있는가?
• RQ3 학습된 타겟 도메인의 데이터 분포에 적응하면서도 교사 모델의 그룹화 행동을 재현할 수 있는 학생 네트워크를 훈련시킬 수 있는가?
• RQ4 극도로 큰 도메인 간 격리 상황에서 STARTUP은 표준 전이 학습, 자기지도 학습, 기타 소수의 샘플 기반 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ5 도메인 간 격리가 더 작은 경우, 예를 들어 ImageNet 분포 내에서, STARTUP의 이점이 유지되는가?

주요 결과

• BSCD-FSL 벤치마크(위성 및 의료 영상 등 극도로 다를 수 있는 도메인 포함)에서 STARTUP은 소수의 샘플 분류 정확도를 평균 2.9점 향상시켰다.
• BSCD-FSL 벤치마크에서 STARTUP는 표준 ImageNet 전이 학습 및 최신 자기지도 학습 방법을 일관되게 능가했다.
• 더 작은 도메인 간 격리 상황(예: miniImageNet 및 tieredImageNet)에서는 적절한 초기화 전략을 사용한 STARTUP가 라벨이 부족할 경우 표준 전이 학습을 능가하는 성능을 보였다.
• t-SNE 시각화 결과, STARTUP 이후 학생 표현에서 더 명확한 클래스 분리가 관찰되어 특징의 구분 능력 향상을 확인할 수 있었다.
• 분석 실험 결과, 더 많은 무라벨 데이터를 사용할수록 성능 향상이 이루어지며, SimCLR를 사용한 자기지도 학습이 회전 기반 자기지도 학습보다 더 효과적임을 확인했다.
• 데이터가 적은 상황에서는 교사의 가중치로 학생을 초기화하는 것이 유리하며, 더 많은 무라벨 데이터가 있을 경우는 라벨이 없는 상태에서부터 학습하는 것이 더 나은 성능을 낸다.