[논문 리뷰] Model-Based Domain Generalization

Alexander Robey, George J. Pappas외 1명|arXiv (Cornell University)|2021. 02. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 163인용 수 6

한 줄 요약

이 논문은 분포 외 일반화 성능을 향상시키기 위해 학습된 데이터 변환에 대한 불변성을 강제하는 새로운 프레임워크인 모델 기반 도메인 일반화(MBDG)를 제안한다. 도메인 이동을 생성적 변환을 통해 모델링하고, 비볼록 쌍대 이론을 통해 제약 조건이 있는 통계적 학습 문제를 해결함으로써 MBDG는 ColoredMNIST, Camelyon17-WILDS, PACS와 같은 벤치마크에서 최고 성능을 기록하며, 정확도를 최대 30个百分点 향상시킨다.

ABSTRACT

Despite remarkable success in a variety of applications, it is well-known that deep learning can fail catastrophically when presented with out-of-distribution data. Toward addressing this challenge, we consider the domain generalization problem, wherein predictors are trained using data drawn from a family of related training domains and then evaluated on a distinct and unseen test domain. We show that under a natural model of data generation and a concomitant invariance condition, the domain generalization problem is equivalent to an infinite-dimensional constrained statistical learning problem; this problem forms the basis of our approach, which we call Model-Based Domain Generalization. Due to the inherent challenges in solving constrained optimization problems in deep learning, we exploit nonconvex duality theory to develop unconstrained relaxations of this statistical problem with tight bounds on the duality gap. Based on this theoretical motivation, we propose a novel domain generalization algorithm with convergence guarantees. In our experiments, we report improvements of up to 30 percentage points over state-of-the-art domain generalization baselines on several benchmarks including ColoredMNIST, Camelyon17-WILDS, FMoW-WILDS, and PACS.

연구 동기 및 목표

• 의료 영상 및 자율주행과 같은 안전이 중요한 응용 분야에서 심각한 분포 외 실패 문제를 해결하기 위해.
• 기존 도메인 일반화 방법은 종종 경험적으로 조정된 경험 리스크 최소화(ERM)에 뒤지게 되는 한계를 극복하기 위해.
• 공변수 이동과 학습된 변환에 대한 불변성을 모델링하는 조건 하에서 도메인 일반화를 반무한 제약 최적화 문제로 형식화하기 위해.
• 비볼록 쌍대 이론을 활용하여 엄밀한 이론적 기반을 확보하고 수렴 보장이 있는 강력한 알고리즘을 개발하여 최적의 도메인 일반화 솔루션에 대한 날카운 approximation을 달성하기 위해.
• 비지도로 학습된 생성적 도메인 변환에 대한 불변성을 강제할 경우 표준 벤치마크에서 성능 향상이 크게 이루어지는지 경험적으로 검증하기 위해.

제안 방법

• 방법은 도메인 간 변동성을 생성적 변환 $ G(x,e) $ 를 사용하여 모델링하며, 여기서 $ e $ 는 색상, 밝기, 또는 회전과 같은 도메인 특화 요소를 나타낸다.
• 도메인 일반화를 반무한 제약 최적화 문제로 설정하여, 변환 모델을 통해 모든 도메인에서 예측기의 불변성을 강제한다.
• 비볼록 쌍대 이론을 적용하여 제약 조건이 없는 쌍대 문제를 유도하고, 이론적으로 증명 가능한 데이터에 의존하는 이중 간격의 상한을 확보한다.
• 기본 문제와 쌍대 문제의 구조를 활용한 프리미벌-쌍대 스타일 알고리즘을 제안하며, 분류기와 생성 모델을 동시에 학습하여 도메인 간 데이터를 변환하면서도 불변성을 유지한다.
• 생성 모델은 학습 도메의 레이블이 없는 데이터를 기반으로 학습되어 진술된 다중 모odal 변환을 분리하여 학습하며, 진짜 도메인 레이블이 필요로 하지 않는다.
• 제약 조건이 있는 문제를 근사하기 위해 경험적 매개변수화된 쌍대 문제를 사용하여, 수렴 보장이 있는 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습된 데이터 기반 도메인 변환에 대한 불변성을 강제할 경우, 딥러닝에서 분포 외 일반화 성능이 향상될 수 있는가?
• RQ2 공변수 이동과 변환 불변성을 모델링하는 조건 하에서 도메인 일반화 문제는 제약 조건이 있는 통계적 학습 문제와 동일한가?
• RQ3 비볼록 쌍대 이론을 활용하여 도메인 일반화 문제에 대해 좁은, 데이터에 의존하는 이중 간격 상한을 도출할 수 있는가?
• RQ4 경험적 쌍대 문제를 기반으로 한 프리미벌-쌍대 알고리즘이 표준 벤치마크에서 기존 최고 수준의 도메인 일반화 방법을 초월할 수 있는가?
• RQ5 진짜 전환 모델에 접근할 수 없더라도, 학습 도메의 레이블이 없는 데이터에서 학습된 생성 모델이 도메 간 변동성을 얼마나 잘 포괄할 수 있는가?

주요 결과

• 제안된 MBDG 알고리즘이 여러 벤치마크에서 최고 성능을 기록하며, 기존 베이스라인 대비 정확도를 최대 30个百分点 향상시켰다.
• ColoredMNIST에서 MBDG는 94.5%의 정확도를 기록하여, 이어오는 최고 성능 방법의 64.5%를 크게 앞서 갔다.
• Camelyon17-WILDS에서 MBDG는 76.3%의 정확도를 달성했으며, 이는 이전 최고 성능인 46.3% 대비 30포인트 향상된 것이다.
• FMoW-WILDS에서 MBDG는 68.8%의 정확도를 기록했으며, 이는 이전 최고 성능 대비 15포인트 향상된 것이다.
• PACS에서 MBDG는 86.7%의 정확도를 기록했으며, 이는 이전 최고 성능 방법보다 10.5포인트 높은 성능이다.
• 진짜 도메인 전환 모델이 알려지지 않은 상황에서도 이 방법은 MUNIT를 사용해 레이블이 없는 학습 데이터에서 효과적인 전환을 학습함으로써 효과를 유지한다.