[논문 리뷰] Semi-Supervised Domain Generalization with Stochastic StyleMatch

Kaiyang Zhou, Chen Change Loy외 1명|arXiv (Cornell University)|2021. 06. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 15

한 줄 요약

이 논문은 스타일 증강을 사용한 확률적 가중치 모델링과 다중 시각 일致 학습을 통합한 반감독 도메인 일반화 방법인 StyleMatch를 제안한다. 이는 FixMatch를 개선한 것으로, 저표본 라벨링 환경에서도 최신 기준 성능을 크게 뛰어넘으며, 특히 낮은 라벨링 비율에서 뛰어난 성능을 보인다.

ABSTRACT

Ideally, visual learning algorithms should be generalizable, for dealing with any unseen domain shift when deployed in a new target environment; and data-efficient, for reducing development costs by using as little labels as possible. To this end, we study semi-supervised domain generalization (SSDG), which aims to learn a domain-generalizable model using multi-source, partially-labeled training data. We design two benchmarks that cover state-of-the-art methods developed in two related fields, i.e., domain generalization (DG) and semi-supervised learning (SSL). We find that the DG methods, which by design are unable to handle unlabeled data, perform poorly with limited labels in SSDG; the SSL methods, especially FixMatch, obtain much better results but are still far away from the basic vanilla model trained using full labels. We propose StyleMatch, a simple approach that extends FixMatch with a couple of new ingredients tailored for SSDG: 1) stochastic modeling for reducing overfitting in scarce labels, and 2) multi-view consistency learning for enhancing domain generalization. Despite the concise designs, StyleMatch achieves significant improvements in SSDG. We hope our approach and the comprehensive benchmarks can pave the way for future research on generalizable and data-efficient learning systems. The source code is released at \url{https://github.com/KaiyangZhou/ssdg-benchmark}.

연구 동기 및 목표

• 다양한 소스 도메인에서 라벨이 제한된 조건에서도 도메인 일반화 모델을 훈련하는 데 도전하는 것.
• 반감독 도메인 일반화(SSDG)에 적용했을 때 기존 도메인 일반화 및 반감독 학습 방법의 한계를 규명하는 것.
• 도메인 이동과 희소한 애너테이션 상황에서도 모델 일반화 능력과 데이터 효율성을 동시에 향상시키는 통합 프레임워크를 설계하는 것.
• 두 개의 새로 구축한 SSDG 벤치마크에서 체계적인 아블레이션 및 벤치마킹을 통해 제안된 구성 요소의 효과를 평가하는 것.

제안 방법

• 고정된 가중치 모델링을 통해 분류기 가중치를 정규분포로 매개변수화하여 앙상블 모델을 암묵적으로 학습하고, 소규모 라벨 데이터셋에서의 과적합을 줄이는 방식으로 FixMatch를 확장한다.
• 원본 이미지, 강한 증강된 시각, 스타일 변환된 이미지 간의 예측 일치성을 강제하는 다중 시각 일치 학습 프레임워크를 도입하며, 이는 제3의 시각을 추가함으로써 달성된다.
• 학습된 가중치 분포에서의 확률적 샘플링을 통해 다양한 예측을 생성함으로써 모델의 강건성과 불확실성 캘리브레이션을 향상시킨다.
• 특징 분포를 다양한 이미지 스타일 간에 정렬함으로써 도메인 불변 표현을 생성하기 위해 스타일 전이를 증강 전략으로 활용한다.
• 신뢰도 임계값 기반의 가짜 라벨링 메커니즘을 적용하여, 높은 신뢰도를 가진 예측만을 사용해 무라벨 데이터를 지도로 활용한다.
• 강한 데이터 증강과 스타일 증강을 결합하여 도메인 일반화 능력을 향상시키며, 동일 샘플의 여러 시각 간 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 제한된 라벨링 조건에서 기존 도메인 일반화 방법이 반감독 환경에서 어떻게 작동하며, 왜 성능이 열등한가?
• RQ2 최신 반감독 학습 방법인 FixMatch가 SSDG 환경에 얼마나 잘 적응할 수 있으며, 그 핵심적 한계는 무엇인가?
• RQ3 확률적 가중치 모델링이 저데이터 SSDG 환경에서 일반화 능력을 향상시키고 과적합을 줄이는 데 어떻게 기여하는가?
• RQ4 스타일 증강을 통한 다중 시각 일치 학습이 다양한 도메인 간 모델의 강건성과 성능에 미치는 영향은 무엇인가?
• RQ5 소스 도메인의 수가 제안된 방법의 성능에 미치는 영향은 어떠하며, 특히 극도로 낮은 라벨링 비율에서 어떻게 나타나는가?

주요 결과

• PACS에서 클래스당 10개의 라벨만을 사용할 경우, StyleMatch는 80.41%의 정확도를 기록하며, FixMatch(77.12%)와 단일 소스 기반선(53.55%)을 크게 앞서며, 동일한 저표본 라벨링 조건에서 뚜렷한 성능 우월성을 입증한다.
• 저표본 설정에서 스타일 증강을 통한 다중 시각 일치 학습이 성능 향상에 더 큰 기여를 하며, 클래스당 10개 라벨 조건에서 소스 도메인 수를 2개에서 3개로 늘일 경우 FixMatch 대비 5.91% 향상된 성능을 기록한다.
• 확률적 가중치 모델링은 과적합을 감소시킨다: StyleMatch에서는 전체 훈련 과정 동안 과신뢰도 비율이 가짜 라벨링 정확도를 초과하지 않지만, FixMatch는 과신뢰도가 정확도를 앞서는 경향을 보인다.
• 아블레이션 연구 결과, 강한 증강($T_{strong}$)과 스타일 증강($T_{style}$)을 결합한 조합이 최고의 성능을 보이며, 클래스당 10개 라벨 조건에서 PACS에서 80.41%의 정확도를 기록하며, 각각의 방법을 별도로 사용한 경우보다 뛰어난 성능을 보였다.
• 단일 소스 경우($K=1$)에도 StyleMatch는 FixMatch(53.55%) 대비 3.74% 향상된 57.29%의 성능을 기록함으로써, 인스턴스 수준의 스타일 혼합의 유용성을 입증한다.
• StyleMatch와 전체 라벨 오라클 간의 성능 격차가 작아, 무라벨 데이터를 효과적으로 활용하여 완전 지도 학습 성능에 가까워지고 있음을 시사한다.