[논문 리뷰] Representation via Representations: Domain Generalization via Adversarially Learned Invariant Representations

Zhun Deng, Frances Ding외 5명|arXiv (Cornell University)|2020. 06. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 11

한 줄 요약

이 논문은 도메인을 민감한 특성으로 간주하여 다양한 인구 집단 간의 불변성 강제를 위한 적대적 학습된 불변 표현을 사용하는 도메인 일반화 방법을 제안한다. 도메인 수가 증가함에 따라 적대적 손실의 극한 행동을 수식화하고, 더 많은 도메인이 일반화 성능을 향상시킨다는 것을 증명하며, 비점근적 경계와 최악의 성능에 대한 충분조건을 포함하여, 적대적 불변 도메인 일반화에 대한 최초의 이론적 보장을 제공한다.

ABSTRACT

We investigate the power of censoring techniques, first developed for learning {\em fair representations}, to address domain generalization. We examine {\em adversarial} censoring techniques for learning invariant representations from multiple "studies" (or domains), where each study is drawn according to a distribution on domains. The mapping is used at test time to classify instances from a new domain. In many contexts, such as medical forecasting, domain generalization from studies in populous areas (where data are plentiful), to geographically remote populations (for which no training data exist) provides fairness of a different flavor, not anticipated in previous work on algorithmic fairness. We study an adversarial loss function for $k$ domains and precisely characterize its limiting behavior as $k$ grows, formalizing and proving the intuition, backed by experiments, that observing data from a larger number of domains helps. The limiting results are accompanied by non-asymptotic learning-theoretic bounds. Furthermore, we obtain sufficient conditions for good worst-case prediction performance of our algorithm on previously unseen domains. Finally, we decompose our mappings into two components and provide a complete characterization of invariance in terms of this decomposition. To our knowledge, our results provide the first formal guarantees of these kinds for adversarial invariant domain generalization.

연구 동기 및 목표

• 학습 데이터가 여러 다양하게 분포된 인구 집단에서 온 고차원 생물의학 데이터에서 도메인 일반화 문제를 해결하기 위해.
• 도메인 수가 증가함에 따라 적대적 불변 표현 학습의 이론적 행동을 수식화하기 위해, 특히 k가 매우 클 때의 극한 행동을 다루기 위해.
• 제안된 방법의 일반화 오차에 대한 비점근적 학습이론적 경계와 새로운 도메인에서의 강건한 성능을 보장하는 조건을 제공하기 위해.
• 표현 매핑을 분해하고 이 분해를 통해 불변성을 완전히 특성화함으로써, 학습된 표현의 이해를 향상시키기 위해.
• 인구 집단 간의 공정성 이론을 인구적 편향을 넘어서 지리적 및 기관적 공정성까지 확장하여 의료 AI에서 다양한 인구 집단 간 균형 잡힌 모델 성능을 보장하기 위해.

제안 방법

• 도메인이 데이터 분포의 분포에서 i.i.d.로 추출되며, 학습 데이터는 각 도메인에서 샘플링되는 계층적 베이지안 모델을 사용한다.
• 적대적 차단 학습 프레임워크를 적용한다: 표현 인코더 φ는 입력을 잠재 공간 Z로 매핑하고, 디스criminator ψk는 인코딩된 표현의 소스 도메인을 예측하려고 하며, 분류기 f는 결과를 예측한다.
• 실제로 관측된 적대적 손실 함수를 최소화하며, 이는 f에 의한 잘못된 분류와 ψk에 의한 정확한 도메인 예측을 모두 처벌함으로써 표현 φ가 도메인 특성에 대해 불변이 되도록 유도한다.
• 도메인을 민감한 특성로 간주하여 임의의 상관관계를 억제하는 공정한 표현 학습에서 유래된 접근법이다.
• 이론적 분석을 통해 k → ∞ 일 때 적대적 손실의 극한 행동을 특성화하고, 일반화 오차에 대한 비점근적 경계를 유도한다.
• 표현 매핑을 두 개의 구성 요소로 분해하고, 이 분해를 바탕으로 불변성을 완전히 특성화함으로써 학습된 불변성의 정밀한 분석이 가능해진다.

실험 결과

연구 질문

• RQ1 학습 도메인 수 k가 증가함에 따라, 도메인 일반화를 위한 적대적 불변 표현 학습의 성능이 어떻게 향상되는가?
• RQ2 k가 매우 클 때 적대적 손실 함수의 극한 행동은 어떻게 되며, 의미 있는 값으로 수렴하는가?
• RQ3 제안된 방법의 일반화 오차에 대해 어떤 비점근적 학습이론적 경계를 설정할 수 있는가?
• RQ4 새로운 도메인에서 최악의 예측 성능이 보장되는 조건은 무엇인가?
• RQ5 표현 매핑의 분해를 통해 학습된 표현의 불변성을 어떻게 완전히 특성화할 수 있는가?

주요 결과

• 4개 도메인을 가진 시뮬레이션 데이터에서 RVR(제안된 방법)는 90.6%의 테스트 정확도를 달성했고, 도메인 수가 10개로 증가하면 95.6%로 향상되어 로지스틱 회귀와 랜덤 포레스트를 능가했다.
• 색상이 부착된 MNIST에서 6개 도메인을 사용한 경우, RVR는 97.7%의 테스트 정확도를 기록했으며, 비대칭 색상-라벨 상관관계 설정에서 IRM(94.7%)과 CIDDG(96.9%)를 크게 앞서며 성능을 뛰어넘었다.
• 색상이 부착된 MNIST에서 6개 도메인 중 3개만을 학습에 사용했을 때도 RVR는 86.1%의 정확도를 기록했고, 모든 6개 도메인을 사용하면 97.7%로 상승하여 강력한 데이터 효율성과 확장성을 입증했다.
• PACS 데이터셋에서 RVR는 스케치 도메인에서 80.8%의 정확도를 기록했으며, IRM(75.0%)과 CIDDG(73.8%)를 능가했고, 모든 도메인에서 뛰어난 성능 유지를 보였다.
• 보이는 도메인 수가 증가할수록 테스트 정확도가 일관되게 향상되며, 더 다양한 도메인이 더 나은 불변 표현을 이끌어낸다는 직관을 검증했다.
• 이론적 분석을 통해 적대적 불변 도메인 일반화에 대한 최초의 공식적 보장을 제공하였으며, 손실의 극한 행동과 최악의 성능에 대한 충분조건을 포함한다.