[논문 리뷰] Domain Adaptive Transfer Learning with Specialist Models

Jiquan Ngiam, Daiyi Peng외 4명|arXiv (Cornell University)|2018. 11. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 89

한 줄 요약

이 논문은 프리-트레이닝 데이터 선택이 전이 학습에 미치는 영향을 분석하고 대상Driven 중요도 가중치를 사용하여 관련 부분에서 프리-트레이닝을 수행하는 도메인 적응형 전이 학습을 제시하며, 미세 구분 데이터셋에서 강력한 성능을 달성한다.

ABSTRACT

Transfer learning is a widely used method to build high performing computer vision models. In this paper, we study the efficacy of transfer learning by examining how the choice of data impacts performance. We find that more pre-training data does not always help, and transfer performance depends on a judicious choice of pre-training data. These findings are important given the continued increase in dataset sizes. We further propose domain adaptive transfer learning, a simple and effective pre-training method using importance weights computed based on the target dataset. Our method to compute importance weights follow from ideas in domain adaptation, and we show a novel application to transfer learning. Our methods achieve state-of-the-art results on multiple fine-grained classification datasets and are well-suited for use in practice.

연구 동기 및 목표

• 프리트레이닝 데이터 선택이 대상 데이터셋 전반의 전이 학습 성능에 미치는 영향을 조사한다.
• 특히 미세 구분 작업의 경우 더 큰 프리트레이닝 데이터가 항상 전이를 향상시키지 않는다는 점을 보인다.
• 대상 데이터셋과의 관련성에 따라 소스 예제를 가중하는 도메인 적응형 전이 학습을 도입한다.
• 중요도 가중 프리트레이닝이 수작업으로 선택된 도메인 특화 부분집합에 필적하거나 이를 능가할 수 있음을 보인다.

제안 방법

• 중요도 가중치를 대상 라벨 분포 P_t(y)와 소스 라벨 분포 P_s(y)의 비로 정의한다, P_t(y)/P_s(y).
• 대상 라벨을 사용하지 않고도 소스 데이터로 학습된 분류기를 이용하여 P_t(y)를 추정하고 대상 데이터에 대한 예측을 사용해 추정한다.
• 계산된 중요도 가중치로 프리트레이닝 중 소스 예제를 상향 가중하고 그에 따라 프리트레이닝 데이터셋을 샘플링한다.
• 적응적 전이를 대 hand-picked 프리트레이닝 하위집합 및 표준 벤치마크와 비교하며, 대규모 소스 데이터셋(JFT, ImageNet)과 표준 모델(Inception v3, AmoebaNet-B)을 사용한다.
• P_t(y)를 계산할 때 소프트맥스에 온도 매개변수를 적용하여 중요도 가중치를 안정화한다.

실험 결과

연구 질문

• RQ1 대상 관련 중요도로 소스 프리트레이닝 데이터를 가중하는 것이 여러 대상 데이터셋에 걸쳐 전이 성능을 향상시키는가?
• RQ2 소스와 대상 간의 도메인 유사도가 전이 결과 및 부정적 전이 가능성에 어떤 영향을 미치는가?
• RQ3 미세 구분 작업에서 도메인 적응형 전이 학습이 수작업으로 선택된 것 또는 다른 데이터 선택 방법에 비해 어떤 차이가 있는가?
• RQ4 도메인 적응 프리트레이닝을 사용할 때 더 큰 모델도 동일한 질적 경향을 보이는가?

주요 결과

• 더 많은 프리트레이닝 데이터가 항상 더 좋은 것은 아니며, 관련 없는 예제를 제거하는 선택적 하위집합이 전이를 개선한다.
• 도메인 적응 전이 학습은 수작업으로 선택된 라벨 하위집합 대비 더 낫거나 경쟁력 있는 결과를 내며, 강력한 성능을 달성하기 위해 프리트레이닝 데이터를 덜 사용할 수 있다.
• 전이는 소스 도메인이 대상 작업과 밀접하게 일치할 때 가장 강력하며, 불일치는 부정적 전이로 이어질 수 있다.
• 적응적 전나는 여러 미세 구분 데이터셋에서 성능을 향상시키며, 대형 모델일지라도 최첨단 수작업 선택 하위집합과 비교해 뒤처지지 않거나 우수하다.
• 대형 모델(예: AmoebaNet-B)도 도메인 적응 프리트레이닝에서 동일한 질적 이점을 보이며, 일반 하위집합과 특정 하위집합 간의 차이를 때때로 좁힌다.