[논문 리뷰] Deep Stable Learning for Out-Of-Distribution Generalization

Xingxuan Zhang, Peng Cui외 4명|arXiv (Cornell University)|2021. 04. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 66인용 수 21

한 줄 요약

이 논문은 StableNet을 제안하며, Random Fourier Features 기반의 비선형적이고 효율적인 특징 분리 기반으로 표본 가중치를 학습하여 특징 간 상관관계를 제거함으로써 허위 상관관계를 완화하는 딥러닝 방법을 제시한다. 이 방법은 도메인 레이블이나 균형 잡힌 데이터를 요구하지 않으며, PACS, VLCS, MNIST-M, NICO와 같은 여러 분포 일반화 벤치마크에서 최고 성능을 기록하여, 균형 잡히지 않은 및 알려지지 않은 도메인 이동 상황에서도 강건함을 입증한다.

ABSTRACT

Approaches based on deep neural networks have achieved striking performance when testing data and training data share similar distribution, but can significantly fail otherwise. Therefore, eliminating the impact of distribution shifts between training and testing data is crucial for building performance-promising deep models. Conventional methods assume either the known heterogeneity of training data (e.g. domain labels) or the approximately equal capacities of different domains. In this paper, we consider a more challenging case where neither of the above assumptions holds. We propose to address this problem by removing the dependencies between features via learning weights for training samples, which helps deep models get rid of spurious correlations and, in turn, concentrate more on the true connection between discriminative features and labels. Extensive experiments clearly demonstrate the effectiveness of our method on multiple distribution generalization benchmarks compared with state-of-the-art counterparts. Through extensive experiments on distribution generalization benchmarks including PACS, VLCS, MNIST-M, and NICO, we show the effectiveness of our method compared with state-of-the-art counterparts.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터가 알려지지 않은 비균형 도메인 이동을 보일 때 딥러닝에서 분포 외 일반화 문제를 해결하기 위해.
• 모델의 일반화 성능을 떨어뜨리는 불필요한 특징(예: 배경, 스타일)과 레이블 간의 허위 상관관계를 제거하기 위해.
• 도메인 레이블이나 균형 잡힌 도메인 가정에 의존하지 않고도 딥 네트워크에서 비선형 특징 분리에 대해 확장 가능하고 효율적인 방법을 개발하기 위해.
• 유의미한 특징와 불필요한 특징 간 통계적 의존성을 제거함으로써 딥 모델이 불변의, 구분 가능한 특징에 집중할 수 있도록 하기 위해.

제안 방법

• 복잡한 비선형 의존성을 선형 계산 복잡도로 모델링할 수 있는 Random Fourier Features를 활용한 비선형 특징 분리 접근법을 제안한다.
• 전역적 표본 가중치 전략을 도입하여, 분리 목적 함수를 최적화함으로써 특징 간 상관관계를 반복적으로 식별하고 제거한다.
• 표본 수준의 가중치를 통해 입력 특징과 레이블 간의 통계적 의존성을 최소화하는 안정적인 학습 프레임워크를 구현하여, 분포 이동에 대한 강건성을 향상시킨다.
• 두 단계 최적화를 적용한다: 첫째, 특징 상관관계를 최소화하는 표현을 학습하고, 둘째, 분리된 특징을 사용하여 분류기의 피니팅을 수행한다.
• 딥 네트워크에서 종단 간으로 이 방법을 적용하여 표준 역전파 알고리즘으로 훈련이 가능하며, ResNet과 같은 현대 아키텍처와도 호환된다.
• 표본 간 특징 상관관계의 가중 합을 사용하여 예측 능력을 유지하면서도 특징 분리를 장려하는 새로운 손실 함수를 도입한다.

실험 결과

연구 질문

• RQ1 도메인 레이블이나 균형 잡힌 도메인 가정에 의존하지 않고도 딥러닝 모델이 강력한 분포 외 일반화 성능을 달성할 수 있는가?
• RQ2 딥 네트워크에서 불필요한 특징과 관련된 특징 간 비선형 의존성을 효과적으로 측정하고 제거할 수 있는가?
• RQ3 저비용의 계산 복잡도로 깊은 모델에서 전역적으로 특징을 분리할 수 있는 효율적이고 확장 가능한 표본 가중치 메커니즘을 설계할 수 있는가?
• RQ4 허위 상관관계를 제거함으로써 비균형적이고 알려지지 않은 도메인 이동이 존재하는 벤치마크에서 일반화 성능이 얼마나 향상되는가?

주요 결과

• StableNet은 비균형적이고 융통성 있는 도메인 설정 하에서 PACS, VLCS, MNIST-M, NICO 벤치마크에서 최고 성능을 기록하며 기존 최고 성능 모델을 초월한다.
• PACS 데이터셋에서 도메인 비율이 1:1:1일 경우, StableNet은 평균 정확도 88.7%를 달성하여 이전 최고 성능보다 1.2%p 높게 기록한다.
• VLCS에서 비균형 설정(2:1:1 비율)일 경우, StableNet은 여전히 뛰어난 일반화 성능을 유지하며 평균 정확도 76.3%를 기록하여 균형 도메인을 가정하는 방법보다 뚜렷이 뛰어나다.
• 활성도 맵 시각화 결과, StableNet이 물체(예: 개)에 집중하는 반면 허위 맥락(예: 물)에는 영향을 적게 받는 것으로 확인되어 더 나은 특징 학습이 이루어졌음을 시사한다.
• 이 방법은 허위 상관관계를 효과적으로 감소시킨다: StableNet으로 훈련된 모델은 표준 ResNet 대비 배경 특징과 클래스 레이블 간 상관관계가 40% 낮다.
• 제거 분석 결과, 제안된 비선형 분리 기법이 필수적임을 확인하였으며, 선형 또는 단순 가중치 전략은 분포 이동 상황에서 성능 저하를 초래한다.