[논문 리뷰] MixMatch Domain Adaptaion: Prize-winning solution for both tracks of VisDA 2019 challenge

Д. И. Рухович, Danil Galeev|arXiv (Cornell University)|2019. 10. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 4인용 수 11

한 줄 요약

이 논문은 EfficientNet 백본을 사용한 MixMatch 기반 도메인 적응 방법을 제안하며, VisDA 2019 챌린지에서 다중 소스 트랙에서 2위, 준감독 트랙에서 3위를 기록했다. 방법은 수정된 배치 구성과 손실 가중치를 통해 안정성을 향상시키며, 모델 앙상블이 테스트 세트에서 정확도를 1% 향상시켰다.

ABSTRACT

We present a domain adaptation (DA) system that can be used in multi-source and semi-supervised settings. Using the proposed method we achieved 2nd place on multi-source track and 3rd place on semi-supervised track of the VisDA 2019 challenge (http://ai.bu.edu/visda-2019/). The source code of the method is available at https://github.com/filaPro/visda2019.

연구 동기 및 목표

• 통합 프레임워크를 사용하여 레이블이 없는 타겟 데이터를 가진 다중 소스 및 준감독 설정에서 무 supervision 도메인 적응 문제를 해결하기 위해.
• 실제 이미지, 스케치, 클립아트 등 다양한 도메인 간 일반화 성능를 향상시키기 위해 타겟 데이터에 레이블이 없어도 되도록.
• 배치 구성과 정규화 통계 재구성으로 MixMatch 기반 도메인 적응의 학습 안정성을 향상시키기 위해.
• ResNet 기반 베이스라인과 비교하여 EfficientNet을 도메인 적응 작업에서 백본으로 사용했을 때의 성능를 평가하기 위해.
• 다양한 백본과 손실 가중치 설정을 사용한 모델 앙상블이 도메인 적응 벤치마크에서 정확도와 강건성을 향상시키는 데 기여하는지 확인하기 위해.

제안 방법

• 다중 소스 설정에서는 레이블이 있는 배치에 k개의 소스 도메인에서 균등하게 샘플링된 데이터를 포함하도록 미니배치 구성 방식을 수정함. 준감독 설정에서는 타겟 데이터 중 1/5를 레이블이 있는 이미지로 포함함.
• 혼합 배치와 도메인 전용 배치 간 배치 정규화 통계의 안정성을 높이기 위해 학습 중에 균형 잡힌 배치 구성(1/3 소스, 2/3 타겟)을 도입함.
• Neural Architecture Search를 통해 도출된 높은 정확도와 파라미터 효율성을 확보한 EfficientNet-B5 및 B6를 백본으로 사용함.
• 학습 및 테스트 시 일관된 데이터 증강을 적용함: 256×256로 리사이징, 랜덤 수평 플립, 224×224로 랜덤 크롭.
• 백본을 단계당 5번 호출하는 수정된 학습 루프를 구현함—타겟 배치에 대해 2번, 혼합 배치에 대해 3번 호출하여 기울기 업데이트의 균형을 맞춤.
• 다양한 백본(B5, B6)과 손실 가중치 초모수(333.0, 1000.0)를 사용한 모델 앙상블을 최종 추론에 적용함.

실험 결과

연구 질문

• RQ1 최소한의 타겟 레이블을 가진 다중 소스 및 준감독 도메인 적응 설정에서 MixMatch를 효과적으로 적용할 수 있는가?
• RQ2 ResNet 대비 EfficientNet을 백본으로 사용했을 때 도메인 적응 성능와 학습 안정성에 어떤 영향을 미치는가?
• RQ3 MixMatch를 사용한 도메인 적응에서 배치 구성은 배치 정규화의 안정성에 어떤 영향을 미치는가?
• RQ4 모델 앙상블은 도메인 적응 벤치마크에서 일반화 성능와 정확도 향상에 얼마나 기여하는가?
• RQ5 강력한 데이터 증강과 일관성 학습과 결합했을 때, 소수의 타겟 레이블이 준감독 도메인 적응에서 얼마나 효과적인가?

주요 결과

• 다중 소스 트랙 검증 세트에서 MixMatch 기반 방법은 61.9%의 정확도를 기록했으며, 베이스라인(51.9%) 대비 10% 향상됨.
• 준감독 트랙에서 MixMatch 모델은 63.9%의 정확도를 달성했으며, 타겟 데이터에 레이블이 없는 베이스라인(45.7%) 대비 10.5% 향상됨.
• 테스트 단계에서 다중 소스 모델은 EfficientNet-B5와 333.0 손실 가중치를 사용해 69.9%의 정확도를 기록했으며, 앙상블로 71.6%로 향상됨.
• 준감독 트랙에서 최고의 단일 모델은 70.4%의 정확도를 기록했고, 앙상블로 71.3%로 향상되어 팀은 3위를 기록함.
• 최종 결과로 팀은 다중 소스 트랙에서 2위(71.6%), 준감독 트랙에서 3위(71.3%)를 기록했으며, 상위 두 팀 뿐만이 그 성과를 뛰어넘음.
• 아블레이션 스터디 결과 도메인 적응이 성능 향상에 크게 기여함을 확인했으며, 특히 타겟 데이터에 레이블이 있는 준감독 설정에서 가장 큰 성과 향상이 관찰됨.