[논문 리뷰] On the Limitations of General Purpose Domain Generalisation Methods

Henry Gouk, Bohdal, Ondrej외 2명|arXiv (Cornell University)|2022. 02. 01.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 모델 라데마처 복잡도를 기반으로 한 학습 이론적 일반화 경계를 제안하여 도메인 일반화(DG) 성능이 경험적 리스크와 모델 복잡도 사이의 트레이드오프에 의해 결정됨을 밝혀낸다. 도메인 단위의 교차검증과 정규화된 경험적 리스크 최소화가 인스턴스 단위의 검증보다 우수하며, 이는 모델 복잡도를 암묵적으로 제어함으로써 더 강한 일반화 성능을 달성함을 보여준다.

ABSTRACT

We investigate the fundamental performance limitations of learning algorithms in several Domain Generalisation (DG) settings. Motivated by the difficulty with which previously proposed methods have in reliably outperforming Empirical Risk Minimisation (ERM), we derive upper bounds on the excess risk of ERM, and lower bounds on the minimax excess risk. Our findings show that in all the DG settings we consider, it is not possible to significantly outperform ERM. Our conclusions are limited not only to the standard covariate shift setting, but also two other settings with additional restrictions on how domains can differ. The first constrains all domains to have a non-trivial bound on pairwise distances, as measured by a broad class of integral probability metrics. The second alternate setting considers a restricted class of DG problems where all domains have the same underlying support. Our analysis also suggests how different strategies can be used to optimise the performance of ERM in each of these DG setting. We also experimentally explore hypotheses suggested by our theoretical analysis.

연구 동기 및 목표

• 일반적인 목적의 도메인 일반화(DG) 방법에 대한 원칙적인 이론적 이해의 부족을 해결하고자 한다. 이러한 방법들은 종종 히우리스틱에 기반한다.
• 다양한 개발에도 불구하고 기존 DG 방법들이 일관되지 않은 성능을 보이는 이유를 밝히고자 하며, 특히 단순한 경험적 리스크 최소화(ERM) 기반선과의 비교에서 그러한 현상을 분석하고자 한다.
• 분포 이탈 상황에서 특히 도메인 간 일반화에 있어 모델 복잡도와 정규화의 역할을 명확히 하고자 한다.
• 강건한 DG 성능을 달성하기 위해 최적의 모델 선택 전략—도메인 단위 대비 인스턴스 단위의 교차검증—을 규명하고자 한다.
• DG에서의 성능 변동성이 아키텍처나 최적화 방법의 차이가 아니라, 모델 복잡도의 암묵적 또는 명시적 제어에 의해 설명될 수 있음을 보여주고자 한다.

제안 방법

• 모델의 라데마처 복잡도와 연결된 DG를 위한 새로운 일반화 경계를 제안하여, 훈련 도메인에 대한 과적합을 캡처한다.
• 경험적 리스크와 모델 복잡도 사이의 이론적 트레이드오프를 유도하며, 표준 i.i.d. 학습에서의 편향-분산 트레이드오프와 유사한 형태로 표현한다.
• 신경망의 확률적 성격을 피하기 위해 선형 모델과 시장에서 이용 가능한 자기지도 학습 특징(예: DINO, ViT)을 사용하여 모델 복잡도를 격리하고 측정한다.
• 도메인 일반화 성능을 직접 최적화하기 위해 이류도메인제거 교차검증을 모델 선택 목적어로 활용한다.
• 선형 SVM와 정규화 파라미터(C)를 사용하여 모델 복잡도의 Proxy로 삼고, DomainBed 벤치마크에서 도메인 단위와 인스턴스 단위의 검증 전략을 비교한다.
• 여러 데이터셋(PACS, VLCS, OfficeHome 등)에서 하이퍼파라미터 선택(C)과 일반화 성능 간의 관계를 분석한다.

실험 결과

연구 질문

• RQ1 라데마처 복잡도로 측정된 모델 복잡도는 도메인 일반화에서 일반화 성능에 어떻게 영향을 미치는가?
• RQ2 많은 최신 DG 방법들이 잘 튜닝된 ERM 기반선을 능가하지 못하는 이유는 무엇이며, 이는 암묵적 정규화 또는 복잡도 제어에 의해 설명될 수 있는가?
• RQ3 강건한 일반화 성능을 달성하기 위해 도메인 단위의 교차검증이 인스턴스 단위의 교차검증보다 더 좋은 모델 선택 목적어인가?
• RQ4 도메인 간 일반화를 위해 필요한 최적의 정규화 수준은 표준 내도메인 성능에 비해 어느 정도인가?
• RQ5 SOTA DG 방법의 불안정한 성능은 아키텍처나 최적화 방법의 차이가 아니라, 그들이 유도하는 모델 복잡도에 의해 일관되게 설명될 수 있는가?

주요 결과

• 제안된 일반화 경계는 미관측 도메인 성능가 훈련 도메인 성능에 더해 두 개의 모델 복잡도 항을 더한 값으로 제한되며, DG가 편향-분산 트레이드오프와 연결됨을 보여준다.
• 모든 데이터셋—RotatedMNIST, PACS, VLCS, OfficeHome, Terra Incognita—에서 도메인 단위의 교차검증은 인스턴스 단위의 검증보다 더 강력한 정규화(낮은 C)를 선택하고 더 높은 정확도를 달성한다.
• DINO 특징에서 도메인 단위 검증은 log C = -1.04일 때 VLCS에서 80.4%의 정확도를 기록했으며, 인스턴스 단위 검증의 log C = -0.87일 때 80.5%보다 더 높은 일반화 성능을 보였다.
• SVIRO에서 도메인 단위 검증은 log C = 0.21일 때 97.2%의 정확도를 기록했고, 인스턴스 단위 검증의 log C = 4.85일 때 95.3%보다 뛰어난 성능을 보였다. 이는 강한 정규화 조건에서도 일관된 우월성을 보였다.
• SOTA DG 방법의 성능 변동성은 주로 그들의 암묵적 또는 명시적 모델 복잡도 제어에 의해 설명되며, 아키텍처 혁신만으로는 설명되지 않는다.
• 결과는 Gulrajani & Lopez-Paz (2021)의 연구와 정반대되며, 이들의 연구는 인스턴스 단위 검증이 더 낫다고 주장했지만, 깊은 신경망에서의 하이퍼파라미터 튜닝의 부정확성과 확률적 성격이 이 차이를 유발한다고 설명한다.