[논문 리뷰] Self-ensembling for visual domain adaptation

Geoffrey French, Michał Mackiewicz외 1명|UEA Digital Repository (University of East Anglia)|2017. 06. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 63

한 줄 요약

이 논문은 시각 도메인 적응을 위한 mean teacher 자기앙상블 프레임워크를 적용하고, 도메인별 학습(소스/타깃 배치), 신뢰 임계값, 클래스 균형을 도입하여 VisDA-2017을 포함한 여러 벤치마크에서 최첨단 성과를 달성합니다.

ABSTRACT

This paper explores the use of self-ensembling for visual domain adaptation problems. Our technique is derived from the mean teacher variant (Tarvainen et al., 2017) of temporal ensembling (Laine et al;, 2017), a technique that achieved state of the art results in the area of semi-supervised learning. We introduce a number of modifications to their approach for challenging domain adaptation scenarios and evaluate its effectiveness. Our approach achieves state of the art results in a variety of benchmarks, including our winning entry in the VISDA-2017 visual domain adaptation challenge. In small image benchmarks, our algorithm not only outperforms prior art, but can also achieve accuracy that is close to that of a classifier trained in a supervised fashion.

연구 동기 및 목표

• 소매-감소 라벨링 필요성을 반Semi-supervised 및 unsupervised 도메인 적응으로 시각 작업에 대해 줄이려는 동기 부여.
• mean teacher 자기앙상블을 확장하여 라벨이 있는 소스 도메인과 라벨이 없는 타깃 도메인을 분리하여 처리.
• 도전적인 도메인 시프트에서 신뢰 임계값 및 클래스 균형으로 학습 안정성과 성능을 향상.
• 소형 이미지 벤치마크와 VisDA-2017 도메인 적응 과제 전반에 걸쳐 효과를 입증

제안 방법

• 기법의 기본을 mean teacher 반지도 학습에 두고, 학생 네트워크가 학생의 지수 이동 평균인 교사로부터 학습하도록 함.
• 도메인별 데이터 처리를 위해 소스와 타깃 경로를 분리하고 도메인별로 적응된 배치 정규화 통계를 사용.
• 레이블된 소스 데이터에 대해 표준 지도 손실을 적용하고 타깃 데이터에 대해 학생과 교사 예측 간의 비지도 자기앙상블 손실을 적용.
• 라벨이 없는 타깃 샘플에 자기앙상블 손실을 적용할 때를 결정하는 데 Gaussian ramp-up을 신뢰 임계값으로 대체.
• 타깃 클래스 분포의 불균형으로 인해 발생하는 악화되는 최솟값을 완화하기 위한 클래스 균형 손실을 도입.
• 데이터 증강 체계(Gaussian 노이즈, 변환, 뒤집기, 아핀 변형)를 도입하고 서로 다른 벤치마크에서의 영향 평가

실험 결과

연구 질문

• RQ1 소스에 라벨이 있고 타깃에 라벨이 없는 경우, 자기앙상블을 반지도 학습에서 무감독 도메인 적응으로 효과적으로 이동시킬 수 있는가?
• RQ2 도메인 특유의 배치 정규화, 신뢰 기반 가중치, 및 클래스 균형이 도전적인 데이터셋에서 적응 성능을 향상시키는가?
• RQ3 소형 이미지 벤치마크와 VisDA-2017과 같은 더 큰 도메인 적응 과제에서 어떤 증강 및 학습 전략이 최첨단 결과를 낼 수 있는가?
• RQ4 도메인 적응된 자기앙상블이 타깃 도메인에서 감독 학습의 성능에 얼마나 근접할 수 있는가?

주요 결과

• MT+TF, MT+CT, MT+CT+TF, MT+CT+TFA 구성을 사용하여 여러 소형 이미지 도메인 적응 벤치에서 최첨단 결과를 달성했다.
• MT+TF만으로도 여러 작업에서 강력한 결과를 보였고, 신뢰 임계값(CT)을 추가하면 학습이 안정화되고 일부 벤치마크에서 성능이 향상되었다(예: STLCIFAR, Syn-digits → SVHN).
• 0.968 임계값의 신뢰 임계값은 안정성과 성능을 향상시켰고, 높은 신뢰의 교사 예측을 강조하는 필터 역할을 했다.
• 타깃 클래스 불균형으로 인한 악화되는 최솟값을 완화하기 위한 클래스 균형 손실이 작용하여 타깃 예측을 균일한 클래스 분포로 균형시켰다(특히 MNIST→SVHN).
• VisDA-2017에서 사전학습된 ResNet-152와 테스트-타임 증강 및 앙상블 예측을 사용하면 구성에 관계없이 경쟁력 있는 결과를 얻었고, 검증/테스트 점수가 높게 나타났다.
• 데이터 증강 선택이 성능에 큰 영향을 미쳤고, 번역/뒤집기는 일부 벤치마크에 도움이 되었지만 아핀 증강은 데이터 도메인에 따라 다른 벤치마크에서 해를 끼칠 수 있다.