[논문 리뷰] Quantifying and Improving Transferability in Domain Generalization

Guojun Zhang, Han Zhao외 2명|arXiv (Cornell University)|2021. 06. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 61인용 수 6

한 줄 요약

이 논문은 도메인 일반화에서 전이 가능성의 새로운 형식적 정의를 제안하며, 도메인 간 초과 위험의 불변성을 측정한다. 전이 가능성의 실증적 추정 방법을 제안하고, 특징 전이 가능성을 향상시키는 새로운 적대적 훈련 알고리즘을 개발하여, PACS, Office-Home, WILDS-FMoW와 같은 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Out-of-distribution generalization is one of the key challenges when transferring a model from the lab to the real world. Existing efforts mostly focus on building invariant features among source and target domains. Based on invariant features, a high-performing classifier on source domains could hopefully behave equally well on a target domain. In other words, the invariant features are \emph{transferable}. However, in practice, there are no perfectly transferable features, and some algorithms seem to learn "more transferable" features than others. How can we understand and quantify such \emph{transferability}? In this paper, we formally define transferability that one can quantify and compute in domain generalization. We point out the difference and connection with common discrepancy measures between domains, such as total variation and Wasserstein distance. We then prove that our transferability can be estimated with enough samples and give a new upper bound for the target error based on our transferability. Empirically, we evaluate the transferability of the feature embeddings learned by existing algorithms for domain generalization. Surprisingly, we find that many algorithms are not quite learning transferable features, although few could still survive. In light of this, we propose a new algorithm for learning transferable features and test it over various benchmark datasets, including RotatedMNIST, PACS, Office-Home and WILDS-FMoW. Experimental results show that the proposed algorithm achieves consistent improvement over many state-of-the-art algorithms, corroborating our theoretical findings.

연구 동기 및 목표

• 분포 이탈 하에서 이론적 불변성 가정과 실증적 성능 사이의 격차를 해소하기 위해.
• 단순히 특징이나 예측자 불변성만이 아니라, 도메인 간 초과 위험의 불변성으로서 전이 가능성의 형식화 및 정량화를 위해.
• 적대적 편향과 경험적 위험 최소화를 활용해 데이터로부터 전이 가능성을 실증적으로 추정하는 실용적 방법을 개발하기 위해.
• 전이 가능성을 명시적으로 최적화하는 새로운 알고리즘을 설계하여 도메인 이탈 하에서도 일반화 성능을 향상시키기 위해.
• 기존의 많은 방법들이 높은 소스 성능를 보이지만 실제로 전이 가능한 특징를 학습하지 못한다는 것을 실증적으로 검증하기 위해.

제안 방법

• 전이 가능성을 도메인 간 초과 위험(예측자 위험과 베이즈 위험의 차이)의 불변성으로 정의하여, 특징-라벨 분포의 동시 이탈을 포괄한다.
• 전이 가능성에 기반한 타겟 오차에 대한 새로운 상한을 유도하여 일반화 성능와 직접 연결한다.
• 소규모 반경 δ 내에서 적대적 편향을 사용하여 실증적 추정 절차를 제안하여 학습된 특징의 전이 가능성을 평가한다.
• 적대적 훈련을 통해 전이 가능성을 최적화하는 새로운 훈련 알고리즘을 도입하여, 다양한 도메인에서 소규모 입력 편향에 대한 강건성을 장려한다.
• 특징 인코더와 예측자로 구성된 이중 스트림 훈련 설정을 사용하며, 도메인 식별과 적대적 정규화를 통해 전이 가능성을 향상시킨다.
• 편향을 시뮬레이션하고 강건성을 최적화하기 위해 메타학습 유사 내부 루프를 활용하며, δ 및 내부 스텝과 같은 하이퍼파rameter는 성능을 고려해 조정된다.

실험 결과

연구 질문

• RQ1 기존의 총변위나 워샤르스탄 거리와 같은 불일치 측정법을 넘어서, 도메인 일반화에서 전이 가능성은 어떻게 형식화하고 정량화할 수 있는가?
• RQ2 기존의 도메인 일반화 알고리즘이 초과 위험의 불변성으로 측정했을 때 실제로 전이 가능한 특징를 학습하는가?
• RQ3 전이 가능성 추정에 기반한 새로운 훈련 목표가 새로운 타겟 도메인에서 일반화 성능 향상에 기여할 수 있는가?
• RQ4 다양한 벤치마크에서 제안된 방법은 최신 기술 수준의 알고리즘과 비교해 강건성과 정확도 측면에서 어떻게 성과를 내는가?
• RQ5 적대적 반경 δ 및 내부 루프 스텝과 같은 하이퍼파rameter는 전이 가능성과 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 기존의 도메인 일반화 알고리즘, 특히 ERM 및 GroupDRO는 전이 가능성이 낮다: 소스 정확도는 유지되지만 소규모 편향 하에서 타겟 정확도가 크게 떨어진다.
• PACS, Office-Home, RotatedMNIST, WILDS-FMoW에서 제안된 알고리즘이 최신 기술 수준의 방법들을 초월하여 일관된 성능 향상을 보이며, PACS에서 최대 97.6%의 테스트 정확도와 Office-Home에서 92.33%의 정확도를 달성한다.
• Office-Home에서 CORAL과 SD는 높은 전이 가능성을 보였지만, RSC와 MMD는 편향 하에서 급격히 성능이 떨어져 강건성이 떨어지는 것으로 나타났다.
• 적대적 편향(δ)을 통한 전이 가능성 추정은 소스 성능이 높은 모델일지라도 일반화 성능이 떨어지는 모델을 효과적으로 식별한다.
• 전이 가능성에 기반한 타겟 오차 상한은 실제 테스트 성능과 밀접한 상관관계를 보이며, 이론적 타당성을 검증한다.
• 이 방법은 전이 가능성을 향상시키는 것이 일반화 성능 향상으로 이어지며, VREx와 MMD와 같은 복잡한 방법들조차도 분포 이탈 하에서 이를 뛰어넘는다는 것을 보여준다.