[논문 리뷰] Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments

Yining Chen, Elan Rosenfeld외 3명|arXiv (Cornell University)|2021. 06. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 4

한 줄 요약

이 논문은 반복적 특징 매칭(IfM)을 제안하며, 허위 특징의 스무딩된 공분산 모델 하에서 일반화를 증명 가능하게 하는 도메인 일반화를 위한 새로운 알고리즘을 제시한다. 이는 IRM나 ERM가 요구하는 선형적 dₛ 수준의 훈련 환경 수에 비해 훨씬 적은 O(log dₛ)의 환경 수로도 가능하다. 이 방법은 반복적으로 특징을 투영하여 허위 변동성을 제거함으로써 높은 확률로 불변 예측을 보장한다.

ABSTRACT

Domain generalization aims at performing well on unseen test environments with data from a limited number of training environments. Despite a proliferation of proposal algorithms for this task, assessing their performance both theoretically and empirically is still very challenging. Distributional matching algorithms such as (Conditional) Domain Adversarial Networks [Ganin et al., 2016, Long et al., 2018] are popular and enjoy empirical success, but they lack formal guarantees. Other approaches such as Invariant Risk Minimization (IRM) require a prohibitively large number of training environments -- linear in the dimension of the spurious feature space $d_s$ -- even on simple data models like the one proposed by [Rosenfeld et al., 2021]. Under a variant of this model, we show that both ERM and IRM cannot generalize with $o(d_s)$ environments. We then present an iterative feature matching algorithm that is guaranteed with high probability to yield a predictor that generalizes after seeing only $O(\log d_s)$ environments. Our results provide the first theoretical justification for a family of distribution-matching algorithms widely used in practice under a concrete nontrivial data model.

연구 동기 및 목표

• 실제로 널리 사용되는 분포 매칭 알고리즘에 대한 이론적 보장을 제공하지 못하는 문제를 해결하기 위해.
• 단순한 모델에서도 Ω(dₛ)의 환경 수가 요구되는 IRM의 과도한 환경 복잡도 문제를 해결하기 위해.
• 공격적인 허위 특징 공분산을 가진 비트리비얼하고 현실적인 데이터 모델 하에서, 분포 매칭 접근법에 대한 첫 번째 증명 가능한 보장을 제공하기 위해.
• 반복적 특징 투영이 하위선형, 로그 수준의 환경 복잡도로 불변 예측을 달성할 수 있음을 보여주기 위해.

제안 방법

• 허위 특징 공분산이 여러 환경에서 차지하는 부분공간의 수직보완부에 특징을 투영하는 반복적 특징 매칭(IfM) 알고리즘을 제안한다.
• 각 환경 간의 공분산 차이를 이용해 허위 특징의 부분공간을 추정하고, 이를 투영을 통해 제거한다.
• 공분산 차이 행렬에 특이값 분해(SVD)를 적용하여 허위 부분공간에 대한 투영 행렬을 추출한다.
• 입력 특징을 수직 투영 행렬을 사용해 투영함으로써 허위 성분을 제거하고 신호 특징을 유지한다.
• 다중층 반복 프로세스를 적용하여 네트워크의 여러 계층에서 환경 간 특징 분포를 매칭함으로써 강건성을 향상시킨다.
• 이dealized 가정 하에서 두 개의 환경만으로도 공분산 빼기와 SVD를 기반으로 한 단순한 알고리즘(알고리즘 2)을 사용해 불변 예측자를 정확하게 복원한다.

실험 결과

연구 질문

• RQ1 분포 매칭 알고리즘이 하위선형 환경 복잡도로 증명 가능한 도메인 일반화를 달성할 수 있는가?
• RQ2 기존 방법들인 IRM 및 ERM가 환경 수가 o(dₛ)일 경우 왜 일반화에 실패하는가?
• RQ3 반복적 특징 투영이 단일 계층 매칭보다 허위 특징을 여러 환경에서 더 잘 제거할 수 있는가?
• RQ4 IRM 및 ERM가 무한한 샘플을 가진다 해도 실패할 수 있는 데이터 모델이 존재하는가? 그 경우 특징 매칭 접근법은 O(log dₛ)의 환경 수로 성공할 수 있는가?
• RQ5 실제 특징 공분산 구조 하에서 불변 예측자를 증명 가능하게 복원하기 위해 필요한 최소 환경 수는 얼마인가?

주요 결과

• 공격적인 편향을 가진 스무딩된 공분산 모델 하에서, ERM 및 IRM는 환경 수가 o(dₛ)일 경우 무한한 데이터를 가진다 해도 일반화에 실패한다.
• 제안된 IfM 알고리즘은 고도로 확률적인 일반화 성능을 보이며, 오직 O(log dₛ)의 환경 수로도 성능을 달성한다. 이는 분포 매칭 방법 중에서 처음으로 하위선형 환경 복잡도를 보장한다.
• 실증 결과에 따르면, IfM는 가우시안 및 노이즈가 가미된 MNIST 데이터셋에서 ERM, IRM, CORAL을 모두 능가하며, 기준 모델 대비 최대 10%의 테스트 정확도 향상을 보였다.
• 모든 또는 분리된 계층에서 특징을 매칭하는 것이 최종 계층에서만 매칭하는 것보다 더 높은 성능을 보였으며, CORAL(모든 계층 매칭)은 4층 MLP에서 77.9%의 정확도를 기록했다.
• 공분산 빼기와 SVD를 기반으로 한 단순한 이중 환경 알고리즘(알고리즘 2)은 가정 3.2 하에서 정확한 불변 예측자 복원을 보장하며, ŵ = w* 를 증명한다.
• 실험 결과, IfM는 제한된 데이터 조건에서도 잘 일반화되며, 단일 GPU에서 모든 실행이 10분 이내에 완료됨을 보였다.