[논문 리뷰] Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization

Elan Rosenfeld, Pradeep Ravikumar외 1명|arXiv (Cornell University)|2022. 02. 14.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 딥러닝에서 분포 외(OOD) 일반화 실패의 원인이 특징 학습의 열악함이 아니라 기존 특징에 대한 강건한 선형 회귀의 문제에 있음을 주장하며, 이를 해결하기 위해 도메인별 조정 회귀(DARE)를 제안한다. DARE는 공분산 화이트닝을 통해 도메인을 표준 잠재공간에 정렬하고, 최소최대 최적의 선형 예측자를 학습하는 볼록 최적화 방법으로, 최소한의 재학습으로 OOD 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

A common explanation for the failure of deep networks to generalize out-of-distribution is that they fail to recover the "correct" features. We challenge this notion with a simple experiment which suggests that ERM already learns sufficient features and that the current bottleneck is not feature learning, but robust regression. Our findings also imply that given a small amount of data from the target distribution, retraining only the last linear layer will give excellent performance. We therefore argue that devising simpler methods for learning predictors on existing features is a promising direction for future research. Towards this end, we introduce Domain-Adjusted Regression (DARE), a convex objective for learning a linear predictor that is provably robust under a new model of distribution shift. Rather than learning one function, DARE performs a domain-specific adjustment to unify the domains in a canonical latent space and learns to predict in this space. Under a natural model, we prove that the DARE solution is the minimax-optimal predictor for a constrained set of test distributions. Further, we provide the first finite-environment convergence guarantee to the minimax risk, improving over existing analyses which only yield minimax predictors after an environment threshold. Evaluated on finetuned features, we find that DARE compares favorably to prior methods, consistently achieving equal or better performance.

연구 동기 및 목표

• OOD 일반화의 주요 장애물이 특징 학습인지, 기존 특징에 대한 강건한 선형 예측인지 조사하기.
• ERM이 허위 상관관계를 학습하기 때문에 실패한다는 일반적인 견해를 도전하기 위해, 타겟 도메인 데이터에서 마지막 선형 레이어만 미세조정했을 때 성능 향상 여부를 테스트하기.
• OOD 일반화를 위한 복잡한 불변 표현 학습 방법의 단순하고 볼록한 대안 개발하기.
• 새로운 분포 이탈 모델 하에서 제안된 방법의 최소최대 위험에 대한 이론적 보장을 제공하기.
• ERM 특징가 이미 강건한 선형 회귀와 조합될 경우 강력한 OOD 성능을 달성할 수 있음을 경험적으로 검증하기.

제안 방법

• DARE는 공분산 화이트닝을 통해 도메인을 표준 잠재공간에 통합하는 도메인별 조정을 수행하여 선형 예측자를 학습한다.
• 테스트 시점의 공분산 조정을 학습 시점의 도메인별 조정 평균을 사용해 추정함으로써, 훈련 시 테스트 데이터가 필요 없이 강건한 일반화를 가능하게 한다.
• 도메인 간 불변성을 강제하는 페널티 항을 포함한 볼록 최적화 목표함수를 사용하여 강건성을 향상시킨다.
• 도메인별 공분산 이탈을 조정하여 도메인 간 최적의 분류기 간의 정렬을 도모하며, 도메인별 최적 결정 경계 간余弦 유사도를 증가시킨다.
• 기존의 불변 위험 최소화(IRL) 방법과 달리 도메인별 하위공간을 기각하지 않아 예측에 더 많은 정보를 유지한다.
• 유한 환경에서 최소최대 위험으로의 수렴 보장을 제공하며, 이는 이전 분석이 환경 임계값 이후에만 최소최대 예측자를 도출한다는 점을 개선한다.

실험 결과

연구 질문

• RQ1 특징이 고정된 상태에서 타겟 도메인 데이터에서 마지막 선형 레이어만 미세조정하면 OOD 일반화 성능이 크게 향상되는가?
• RQ2 분포 이탈 하에서 복잡한 엔드 투 엔드 불변 표현 학습 방법보다 단순하고 볼록한 선형 예측자가 더 우수한 성능을 낼 수 있는가?
• RQ3 ERM의 OOD 일반화 실패 원인이 열악한 특징 학습인지, 그 특징에 대한 최적의 선형 예측이 아니기 때문인가?
• RQ4 공분산 화이트닝을 통한 도메인별 조정이 도메인 간 최적의 분류기 간 정렬을 향상시키는가?
• RQ5 새로운 분포 이탈 모델 하에서 최소최대 최적 예측자에 대해 유한 환경 수렴 보장을 확보할 수 있는가?

주요 결과

• 마지막 레이어만 타겟 도메인 데이터에서 미세조정하는 ' cheating' 전략이 전체 네트워크를 엔드 투 엔드로 재학습하는 것과 유사하거나 더 우수한 성능을 보이며, ERM 특징가 이미 매우 효과적임을 시사한다.
• 선형 분류기를 사용할 때, 표준 ERM과 최고의 기존 방법 간 성능 격차가 10–15% 감소함으로써, 특징 학습이 주요 장애물은 아님을 시사한다.
• DARE는 평가된 모든 벤치마크(Office-Home, PACS, VLCS)에서 최고 성능을 기록하며, 항상 이전 방법을 능가하거나 동등하게 유지한다.
• 테스트 시점 공분산 조정 추정 오차는 일관되게 낮게 유지됨(대부분의 분할에서 <0.05), 평균 추정 전략의 강건성을 검증한다.
• 도메인 조정 후, 각 도메인의 개별 최적 분류기 간 여측 유사도가 크게 증가함(예: VLCS에서 0.200에서 0.598로 상승)으로써, 결정 경계의 효과적인 정렬이 이루어졌음을 확인한다.
• DARE의 페널티 항은 필수적임: 페널티 항을 제거하면 성능 저하가 발생하며, 다양한 페널티 값 범위에서 성능가 안정적이므로 최적화의 안정성을 입증한다.