[논문 리뷰] Gradient Matching for Domain Generalization

Yuge Shi, Jeffrey Seely외 5명|arXiv (Cornell University)|2021. 04. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 15

한 줄 요약

이 논문은 도메인 간 기울기 일치(Inter-domain Gradient Matching, IDGM)를 제안하며, 서로 다른 도메인의 기울기를 최대한 유사하게 맞추어 불변 표현을 유도함으로써 도메인 일반화 성능을 햖थ한다. 이는 기울기의 내적을 최대화하여 최적화 동역학을 일치시키는 방법이다. 또한 IDGM의 일阶 근사인 Fish를 도입하여 이차 도함수를 요구하지 않으면서도 Wilds 및 DomainBed 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 분포 이탈 상황에서의 일반화 능력을 크게 향상시킨다.

ABSTRACT

Machine learning systems typically assume that the distributions of training and test sets match closely. However, a critical requirement of such systems in the real world is their ability to generalize to unseen domains. Here, we propose an inter-domain gradient matching objective that targets domain generalization by maximizing the inner product between gradients from different domains. Since direct optimization of the gradient inner product can be computationally prohibitive -- requires computation of second-order derivatives -- we derive a simpler first-order algorithm named Fish that approximates its optimization. We demonstrate the efficacy of Fish on 6 datasets from the Wilds benchmark, which captures distribution shift across a diverse range of modalities. Our method produces competitive results on these datasets and surpasses all baselines on 4 of them. We perform experiments on both the Wilds benchmark, which captures distribution shift in the real world, as well as datasets in DomainBed benchmark that focuses more on synthetic-to-real transfer. Our method produces competitive results on both benchmarks, demonstrating its effectiveness across a wide range of domain generalization tasks.

연구 동기 및 목표

• 기계 학습에서 미리 보지 못한, 분포 외 데이터에 일반화할 수 있는 도메인 일반화 문제를 해결하기 위해.
• 표준 ERM(에mpirical risk minimization)의 한계를 극복하기 위해, 도메인 특유의 편향으로 인해 허위 상관관계(예: 배경 특징)를 학습하는 문제를 해결하기 위해.
• 다양한 도메인 간 기울기를 일치시켜 모델이 불변 특징을 학습하도록 유도하기 위해.
• 이차 도함수 계산이 매우 비용이 많이 드는 이차 기울기 일치의 계산 효율성이 떨어지는 문제를 해결하기 위해, 계산 비용이 저렴한 대체 방법을 설계하기 위해.
• 실제 세계 및 합성 도메인 분포 이탈 벤치마크를 통해 제안된 방법의 성능을 검증하기 위해.

제안 방법

• 다른 도메인에서 유도된 기울기 간 내적을 최대화하는 도메인 간 기울기 일치(IDGM) 목적함수를 제안하여 최적화 동역학을 일치시킨다.
• 메타학습(Reptile)의 통찰을 활용해 IDGM의 일阶 근사를 유도함으로써 고비용의 이차 도함수 계산을 피한다.
• Fish는 공유 모델에 대해 각 도메인에서 한 번의 기울기 업데이트를 수행한 후, 이러한 업데이트의 평균 방향으로 모델를 업데이트함으로써 IDGM 목적함수를 모방한다.
• 학습 중 기울기 일치를 추적하고 검증하기 위해 정규화된 기울기 내적(코사인 유사도)을 대체 지표로 사용한다.
• Wilds 및 DomainBed의 다양한 데이터셋에서 학습부터 시작하거나 미세조정 설정을 모두 적용하여 방법을 검증한다.
• ERM 및 Fish 간의 공정한 비교를 위해 기울기 내적 추적을 위해 공통된 데이터 시퀀스를 사용한다.

실험 결과

연구 질문

• RQ1 도메인 간 기울기 일치를 통해 최적화 경로를 일치시킴으로써 분포 이탈 상황에서 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ2 Fish와 같은 일阶 근사 기반의 기울기 일치 방법이 헤시안 행렬 계산 없이도 이차 최적화 성능에 근접할 수 있는가?
• RQ3 Fish는 학습 중에 ERM 대비 도메인 간 기울기 일치 정도를 유지하거나 향상시키는가?
• RQ4 제안된 방법은 실제 세계 및 합성 분포 이탈을 포함한 다양한 도메인 일반화 벤치마크에서 일반화 가능한가?
• RQ5 하이퍼파rameter인 도메인 수(N)의 변화가 Fish의 성능에 어떤 영향을 미치는가?

주요 결과

• Fish는 Wilds 및 DomainBed 벤치마크의 13개 데이터셋에서 최신 기술 수준 성능을 달성하여 광범위한 적용 가능성을 입증한다.
• Wilds 벤치마크에서 CivilComments 데이터셋에서는 82.4%의 정확도, FMoW에서는 77.7%의 정확도를 기록하며 ERM 및 기타 기준 모델을 초월한다.
• 정규화된 도메인 간 기울기 내적은 Fish 학습 중 일관되게 증가하거나 안정적으로 유지되는 반면, ERM에서는 감소함을 확인하여 기울기 일치가 실제로 이루어졌음을 증명한다.
• CdSprites-N 및 Poverty 데이터셋에서는 학습부터 시작하는 경우이지만, 초기에는 기울기 내적이 일시적으로 낮아지지만 복구됨을 통해 초기화에 대한 강건성을 보여준다.
• 하이퍼파rameter 민감도 분석 결과, N 값에 따른 성능 저하가 거의 없이 안정적이며, N=20일 경우 Poverty 및 CivilComments에서 약간의 성능 저하가 관찰된다.
• 시각화된 결과(그림 1)에 따르면, 방법은 허위 특징(예: 배경)에 대한 의존도를 효과적으로 줄이고 불변 특징 학습을 촉진한다.