[논문 리뷰] Improving Out-of-Distribution Generalization by Adversarial Training with Structured Priors

Qixun Wang, Yifei Wang외 2명|arXiv (Cornell University)|2022. 10. 13.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 도메인 전용 사전 지식을 기반으로 한 구조적이고 저랭크의 교란을 사용하는 두 가지 적대적 훈련 방법—행렬 적대적 훈련(MAT)과 저랭크 적대적 훈련(LDAT)—을 제안한다. 이 방법들은 도메인 간 공통의 저차원 구조로 교란을 제약하여 훈련 데이터 외 분포(OOD) 일반화 성능을 향상시킨다. 표준 표본 기반 적대적 훈련과 달리, 이러한 방법들은 부적절한 특징에 대한 의존도를 줄이고, DomainBed 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep models often fail to generalize well in test domains when the data distribution differs from that in the training domain. Among numerous approaches to address this Out-of-Distribution (OOD) generalization problem, there has been a growing surge of interest in exploiting Adversarial Training (AT) to improve OOD performance. Recent works have revealed that the robust model obtained by conducting sample-wise AT also retains transferability to biased test domains. In this paper, we empirically show that sample-wise AT has limited improvement on OOD performance. Specifically, we find that AT can only maintain performance at smaller scales of perturbation while Universal AT (UAT) is more robust to larger-scale perturbations. This provides us with clues that adversarial perturbations with universal (low dimensional) structures can enhance the robustness against large data distribution shifts that are common in OOD scenarios. Inspired by this, we propose two AT variants with low-rank structures to train OOD-robust models. Extensive experiments on DomainBed benchmark show that our proposed approaches outperform Empirical Risk Minimization (ERM) and sample-wise AT. Our code is available at https://github.com/NOVAglow646/NIPS22-MAT-and-LDAT-for-OOD.

연구 동기 및 목표

• 표본 기반 적대적 훈련(AT)이 대규모 분포 이탈 상황에서 성능이 떨어지는 문제를 해결하기 위해.
• 구조적이고 저랭크의 교란이 OOD 환경에서의 부적절한 상관관계에 대한 강건성을 향상시킬 수 있는지 조사하기 위해.
• 도메인 수준의 사전 지식을 명시적으로 통합한 새로운 AT 변종을 개발하고, 내부 분포 성능을 넘어서 일반화 성능 향상을 검증하기 위해.
• 이론적·실증적으로 도메인 별로 구조화된 교란이 유한 시간 내 경사 하강법에서 부적절한 특징에 대한 의존도가 0으로 수렴하는 속도를 가속화함을 입증하기 위해.

제안 방법

• 각 도메인 내에서 공통으로 사용되는 저랭크 교란 행렬을 학습하여, 해당 도메인의 모든 샘플에 균일하게 적용하는 행렬 적대적 훈련(MAT)을 제안한다.
• 도메인 전용 교란의 저랭크 분해를 사용하여 파rameter 복잡도를 줄이고 일반화 성능을 향상시키는 저랭크 적대적 훈련(LDAT)을 도입한다.
• 표본 기반 AT가 각 샘플에 대해 고차원의 고유한 교란을 적용하는 데 반해, 도메인 내 샘플 간에 통일된 교란을 적용하는 구조적 교란을 사용하는 적대적 훈련을 적용한다.
• 모델과 교란 행렬을 함께 기울기 기반 최적화로 훈련하며, 교란이 저랭크 구조로 제약되어 배경 및 스타일에 대한 불변성을 촉진한다.
• 도메인 수준의 사전 지식을 활용하여 교란을 구성함으로써, 무작위 노이즈가 아닌 의미 있는 저차원 분포 이탈을 반영하도록 보장한다.
• 이론적 분석을 통해 MAT와 LDAT에서의 구조적 교란이 끝나지 않은 시간 내 경사 하강법에서 부적절한 특징에 대한 의존도가 0으로 수렴하는 속도를 가속화함을 보여준다.

실험 결과

연구 질문

• RQ1 표본 기반 적대적 훈련이 대규모 교란을 처리하지 못함으로써 OOD 데이터로의 일반화 성능이 떨어지는가?
• RQ2 도메인 별로 저랭크로 구조화된 교란이 표준 AT보다 OOD 일반화 성능을 향상시킬 수 있는가?
• RQ3 구조적 교란이 배경 및 스타일과 같은 부적절한 특징에 대한 모델 의존도에 어떤 영향을 미치는가?
• RQ4 교란 수(k)와 랭크(l)의 크기가 MAT와 LDAT의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 재학습 없이 다양한 OOD 벤치마크에 일반화 가능한가?

주요 결과

• MAT와 LDAT는 DomainBed 벤치마크의 5개 데이터셋 전부에서 표준 경험 리스크 최소화(ERM)와 표본 기반 적대적 훈련을 모두 능가한다.
• PACS 데이터셋에서 MAT는 82.3%의 정확도를 기록했고, LDAT는 82.6%를 달성하여 ERM(79.8%)와 표준 AT(73.0%)를 모두 초월했다.
• Grad-CAM을 사용한 시각화 결과, MAT와 LDAT는 객체 영역에 집중하는 반면, ERM과 AT는 배경과 부적절한 특징에 크게 의존한다.
• 교란 수(k)나 랭크(l)가 너무 작을(예: 5) 또는 너무 클(예: 1000) 경우 성능이 크게 떨어지며, 중간 범위에서 최적의 성능을 보임을 시사한다.
• 한 데이터셋에서 선택한 최적의 하이퍼파ram터(k와 l)가 다른 데이터셋으로도 잘 일반화되므로, 이 방법이 도메인 간에 강건하고 이식 가능함을 시사한다.
• 이론적 분석을 통해 MAT와 LDAT에서의 구조적 교란이 끝나지 않은 시간 내 경사 하강법에서 부적절한 특징에 대한 의존도가 0으로 수렴하는 속도를 가속화함을 확인했다.