[논문 리뷰] Out-of-Domain Generalization from a Single Source: An Uncertainty Quantification Approach

Xi Peng, Fengchun Qiao외 1명|arXiv (Cornell University)|2021. 08. 05.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 단일 소스 도메인에서의 도메인 외 일반화를 위한 메타학습 기반의 적대적 도메인 증강 방법을 제안하며, 불확실성 측정을 활용하여 강건성과 안전성을 향상시킨다. 워샤르슈타인 오토에인코더와 메타최적화를 통해 의미적으로 일관되면서 도전적인 '가짜' 도메인을 생성함으로써, Digits, CIFAR-10-C, SYTHIA와 같은 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 손상된 입력에 대해 mIoU가 향상되고 불확실성이 감소한다.

ABSTRACT

We are concerned with a worst-case scenario in model generalization, in the sense that a model aims to perform well on many unseen domains while there is only one single domain available for training. We propose Meta-Learning based Adversarial Domain Augmentation to solve this Out-of-Domain generalization problem. The key idea is to leverage adversarial training to create "fictitious" yet "challenging" populations, from which a model can learn to generalize with theoretical guarantees. To facilitate fast and desirable domain augmentation, we cast the model training in a meta-learning scheme and use a Wasserstein Auto-Encoder to relax the widely used worst-case constraint. We further improve our method by integrating uncertainty quantification for efficient domain generalization. Extensive experiments on multiple benchmark datasets indicate its superior performance in tackling single domain generalization.

연구 동기 및 목표

• 학습에 사용 가능한 소스 도메인이 단 하나일 경우의 도메인 외 일반화 문제를 해결한다.
• 다수의 도메인 또는 타겟 도메인 데이터가 필요로 하는 기존의 도메인 일반화 및 적응 방법의 한계를 극복한다.
• 단일 소스에서 다양한, 현실적이며 도전적인 '가짜' 도메인을 생성할 수 있는 확장성 있고 효율적인 방법을 개발한다.
• 불확실성 측정을 통합하여 임무 중심 응용 분야에서 모델의 신뢰성과 안전성을 향상시킨다.
• 분포 이탈 및 이미지 손상 등 다양한 알려지지 않은 도메인 간 강력한 일반화를 가능하게 한다.

제안 방법

• 단일 소스에서 다양한 도메인 외 강건성 있는 도메인을 생성하기 위해 메타학습 기반의 적대적 도메인 증강(SDG)을 제안한다.
• 최악의 경우 제약 조건을 완화하기 위해 워샤르슈타인 오토에인코더(WAE)를 사용하여 의미적 일관성을 유지하면서도 큰 도메인 이동을 가능하게 한다.
• 메타학습을 활용해 모델 파라미터와 도메인 증강 전략을 동시에 최적화함으로써 학습 효율성과 일반화 능력을 향상시킨다.
• 학습 중 잠재 특징과 진짜 레이블을 동시에 변형하여 도메인 다양성과 강건성을 증가시킨다.
• 예측 분산 추정을 통한 불확실성 측정을 통합하여, 알려지지 않은 도메인에서의 모델 신뢰성 평가 및 향상에 기여한다.
• 도메인 일반화와 소수 샘플 도메인 적응 모두에 적용하여 이식성과 유연성을 입증한다.

실험 결과

연구 질문

• RQ1 학습에 사용 가능한 소스 도메인이 단 하나일 경우, 모델이 여러 알려지지 않은 도메인으로 효과적으로 일반화될 수 있는가?
• RQ2 적대적 훈련은 단일 소스에서 의미적으로 일관되면서도 다양한 '가짜' 도메인을 어떻게 생성할 수 있는가?
• RQ3 메타학습은 적대적 도메인 증강의 효율성과 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ4 불확실성 측정은 도메인 외 일반화에서 강건성과 안전성을 어떻게 향상시킬 수 있는가?
• RQ5 제안된 방법은 이미지 분류 및 세그멘테이션 작업을 포함한 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• 제안된 불확실성 포함 SDG(Uncertain SDG) 방법은 SYTHIA 데이터셋에서 평균 mIoU 81.53%를 기록하며 ERM, GUD, SDG를 모두 초월한다.
• CIFAR-10-C에서 Uncertain SDG는 mCE(13.5%)와 RmCE(15.2%)가 가장 낮아 이미지 손상에 대한 우수한 강건성을 보여준다.
• MNIST, USPS, SVHN에서 소수 샘플 도메인 적응 테스트에서, 클래스당 10개의 타겟 샘플로 평균 정확도 81.53%를 기록하며 FADA와 CCSA를 모두 능가한다.
• 불확실성 측정 분 析를 통해 알려지지 않은 도메인에서의 불확실성이 감소한 것으로 확인되었다.
• 절단 분석 결과, 잠재 특징과 레이블을 동시에 변형하는 것이 도메인 일반화 성능을 크게 향상시킨다.
• 불확실성 측정 통합은 모든 벤치마크에서 표준 SDG 대비 일관된 성능 향상을 이끌었으며, 특히 도메인 외 설정에서 뚜렷한 개선 효과를 보였다.