[논문 리뷰] A Bit More Bayesian: Domain-Invariant Learning with Uncertainty

Zehao Xiao, Jiayi Shen외 3명|UvA-DARE (University of Amsterdam)|2021. 05. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 5

한 줄 요약

이 논문은 도메인 일반화 성능을 햖थ기 위해 불확실성 모델링과 도메인 불변 표현 학습을 통합한 변분 베이지안 신경망 프레임워크를 제안한다. 확률적 추론을 통해 도메인 불변 특징과 분류기를 동시에 최적화함으로써, 네 가지 크로스도메인 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, 분포 이탈에 대한 우수한 내구성과 분포 외 일반화 능력을 입증한다.

ABSTRACT

Domain generalization is challenging due to the domain shift and the uncertainty caused by the inaccessibility of target domain data. In this paper, we address both challenges with a probabilistic framework based on variational Bayesian inference, by incorporating uncertainty into neural network weights. We couple domain invariance in a probabilistic formula with the variational Bayesian inference. This enables us to explore domain-invariant learning in a principled way. Specifically, we derive domain-invariant representations and classifiers, which are jointly established in a two-layer Bayesian neural network. We empirically demonstrate the effectiveness of our proposal on four widely used cross-domain visual recognition benchmarks. Ablation studies validate the synergistic benefits of our Bayesian treatment when jointly learning domain-invariant representations and classifiers for domain generalization. Further, our method consistently delivers state-of-the-art mean accuracy on all benchmarks.

연구 동기 및 목표

• 학습 시 타겟 도메인 데이터가 가용하지 않은 도메인 이탈과 불확실성 문제를 해결한다.
• 베이지안 추론을 통해 신경망 가중치에 불확실성을 통합하여 분포 외 데이터로의 모델 일반화 능력을 향상시킨다.
• 도메인 불변 표현과 분류기를 동시에 학습하는 원리적인 확률적 프레임워크를 개발한다.
• 변분 베이지안 방법을 활용해 분포 이탈 상황에서 표준 딥 네트워크의 과도한 확신과 낮은 캘리브레이션 문제를 완화한다.
• 메타학습 환경에서 불확실성 모델링과 도메인 불변 학습의 상호보완적 이점을 입증한다.

제안 방법

• 가중치의 불확실성을 모델링하기 위해 변분 베이지안 추론 프레임워크 내에서 도메인 불변성을 확률적 제약 조건으로 설정한다.
• 근사 사후 추론을 통해 두 층으로 구성된 베이지안 신경망을 사용하여 도메인 불변 특징 추출기와 분류기를 동시에 학습한다.
• 사전 분포에서의 가능도와 KL 발산을 균형 잡는 것을 목표로, 부정적 하한 근사(Evidence Lower Bound, ELBO)를 최소화한다.
• 메타학습을 통합하기 위해 각 반복에서 소스 도메인을 메타-소스 및 메타-타겟 도메인으로 분할하여 도메인 이탈을 시뮬레이션하고 일반화 능력을 향상시킨다.
• 특징 추출기와 분류기 헤드 양쪽에 모두 변분 베이지안 추론을 적용하여 불확실성 인식 예측을 가능하게 한다.
• 가중치의 불확실성을 활용해, 특히 예상치 못한 도메인 이탈 상황에서도 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 변분 베이지안 추론을 통해 가중치의 불확실성을 통합하면 도메인 이탈 상황에서 도메인 일반화의 일반화 성능 향상에 기여하는가?
• RQ2 확률적 프레임워크 하에서 도메인 불변 특징과 분류기를 동시에 학습할 경우 모델의 내구성과 정확도에 어떤 영향을 미치는가?
• RQ3 도메인 불변성과 불확실성 모델링의 상호보완적 작용이 기존 도메인 일반화 방법에 비해 예측 불가능한 도메인에서 더 높은 성능을 낼 수 있는가?
• RQ4 PACS 및 Office-Home와 같은 도전적인 벤치마크에서, 특히 'clipart'와 'art'와 같은 어려운 도메인에서 베이지안 접근법이 비베이지안 SOTA 방법을 능가할 수 있는가?
• RQ5 불확실성 모델링이 회전된 MNIST와 Fashion-MNIST에서 측정된 분포 외 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 Office-Home 벤치마크에서 평균 정확도 66.42% ± 0.18을 달성하여 이전 방법들을 능가한다.
• PACS에서 'sketch' 도메인에서 61.81% ± 0.36의 정확도를 기록하여 모든 베이스라인과 이전 SOTA 방법을 초월한다.
• 회전된 MNIST 및 Fashion-MNIST 벤치마크에서, 내부 분포 정확도 99.0% ± 0.02와 분포 외 정확도 96.5% ± 0.08를 달성하여 강력한 OOD 일반화 능력을 입증한다.
• 절단 실험 결과, 베이지안 추론 하에서 도메인 불변 특징과 분류기를 동시에 학습함으로써 내구성과 정확도 향상에 상호보완적 효과가 있음을 확인한다.
• 비베이지안 기반 방법 대비 평균 6.6% 향상된 분포 외 성능을 기록하여 불확실성 모델링의 유용성을 입증한다.
• 특히 'clipart'와 'art'와 같은 도전적인 도메인에서도 높은 성능을 유지하며, 도메인 특화 과적합 없이 일관된 일반화 성능을 보여준다.