[논문 리뷰] Learning to Learn with Variational Information Bottleneck for Domain Generalization

Yingjun Du, Jun Xu외 5명|arXiv (Cornell University)|2020. 07. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 11

한 줄 요약

이 논문은 도메인 일반화를 향상시키기 위해 변분 추론과 정보 차단 이론을 융합한 메타러닝 프레임워크인 MetaVIB을 제안한다. 분류기 가중치를 확률적 분포로 모델링하고, 새로운 메타-변분 정보 차단 이론을 사용함으로써 예측 불확실성과 도메인 분포 이동을 감소시켜 세 가지 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Domain generalization models learn to generalize to previously unseen domains, but suffer from prediction uncertainty and domain shift. In this paper, we address both problems. We introduce a probabilistic meta-learning model for domain generalization, in which classifier parameters shared across domains are modeled as distributions. This enables better handling of prediction uncertainty on unseen domains. To deal with domain shift, we learn domain-invariant representations by the proposed principle of meta variational information bottleneck, we call MetaVIB. MetaVIB is derived from novel variational bounds of mutual information, by leveraging the meta-learning setting of domain generalization. Through episodic training, MetaVIB learns to gradually narrow domain gaps to establish domain-invariant representations, while simultaneously maximizing prediction accuracy. We conduct experiments on three benchmarks for cross-domain visual recognition. Comprehensive ablation studies validate the benefits of MetaVIB for domain generalization. The comparison results demonstrate our method outperforms previous approaches consistently.

연구 동기 및 목표

• 예상치 못한 도메인 분포로 인한 도메인 일반화에서의 예측 불확실성 해결.
• 다양한 소스 도메인 간에 도메인 불변 표현을 학습함으로써 도메인 이동 감소.
• 확률적 모델링과 메타러닝을 통합하여 미리 보지 못한 도메인으로의 일반화 향상.
• 상호정보량의 변분 경계에서 유도된 새로운 정보이론적 정규화자인 MetaVIB 개발.
• 기존 방법에 비해 교차 도메인 시각 인식 벤치마크에서 뛰어난 성능 달성.

제안 방법

• 변분 추론을 사용하여 도메인 간 분류기 파라미터를 확률적 분포로 모델링하여 불확실성 포착.
• 상호정보량의 변분 경계에서 유도된 메타-변분 정보 차단 원리인 MetaVIB 제안.
• 에피소드 기반 훈련을 통해 네트워크 및 분류기 파라미터를 동시에 최적화하여 도메인 간 격차 최소화.
• MetaVIB 목적함수를 사용하여 예측 정확도를 최대화하면서 입력과 표현 간의 상호정보량을 최소화.
• 메타러닝을 활용해 훈련 중에 미리 보지 못한 도메인을 시뮬레이션하여 이전에 볼 수 없었던 도메인으로의 일반화 가능.
• 미세조정 없이도 학습된 확률적 모델을 직접 테스트 도메인에 적용하여 불확실성 인식 예측 활용.

실험 결과

연구 질문

• RQ1 분류기 파라미터의 확률적 모델링이 도메인 일반화에서 예측 불확실성을 향상시킬 수 있는가?
• RQ2 메타-변분 정보 차단 프레임워크가 다양한 도메인 간 도메인 이동을 효과적으로 감소시킬 수 있는가?
• RQ3 메타러닝을 변분 추론 및 정보 차단 이론과 융합하면 기존 방법보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 MetaVIB은 교차 도메인 시각 인식 작업에서 최신 기술 수준의 정규 및 메타러닝 접근법보다 우수한 성능을 보일 수 있는가?
• RQ5 MetaVIB은 다양한 도메인 이동을 보이는 여러 벤치마크에서 일관되게 성능 향상을 이룰 수 있는가?

주요 결과

• PACS에서 MetaVIB은 평균 정확도 74.54%를 기록하여 이전 최고 성능보다 1.20%p 높게 달성.
• VLCS에서 MetaVIB은 평균 정확도 72.28%를 기록하여 두 번째로 좋은 성능을 낸 MASF보다 0.43%p 높음.
• 회전된 MNIST에서 MetaVIB은 평균 정확도 97.08%를 기록하여 다음으로 좋은 성능을 낸 Li 등 [30]보다 0.69%p 높음.
• 모든 벤치마크에서 MLDG, MetaReg, Reptile 등의 메타러닝 기반 모델보다 일관되게 뛰어난 성능 확보.
• 제거 실험 결과, 확률적 분류기 모델링과 MetaVIB 정규화자 모두 성능 향상에 기여함을 확인.
• 특히 PACS의 'Cartoon'과 같은 가장 도전적인 도메인에서도 높은 성능 기록으로 강건성 입증.