[논문 리뷰] Adversarially Adaptive Normalization for Single Domain Generalization

Xinjie Fan, Qifei Wang외 4명|arXiv (Cornell University)|2021. 06. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 9

한 줄 요약

이 논문은 신경망을 통해 특성 맵에 대한 도메인 적응 통계를 학습하는 새로운 정규화 기법인 적응 표준화 및 재스케일링 정규화(ASR-Norm)를 제안한다. 적대적 도메인 증강(ADA)과 조합할 경우, 미사용 도메인 간 일반화 성능이 향상되어 Digits, CIFAR-10-C, PACS 벤치마크에서 각각 평균 1.6%, 2.7%, 6.3% 향상되며, ADA 방법의 선택과 무관하게 성능 향상이 가능하다.

ABSTRACT

Single domain generalization aims to learn a model that performs well on many unseen domains with only one domain data for training. Existing works focus on studying the adversarial domain augmentation (ADA) to improve the model's generalization capability. The impact on domain generalization of the statistics of normalization layers is still underinvestigated. In this paper, we propose a generic normalization approach, adaptive standardization and rescaling normalization (ASR-Norm), to complement the missing part in previous works. ASR-Norm learns both the standardization and rescaling statistics via neural networks. This new form of normalization can be viewed as a generic form of the traditional normalizations. When trained with ADA, the statistics in ASR-Norm are learned to be adaptive to the data coming from different domains, and hence improves the model generalization performance across domains, especially on the target domain with large discrepancy from the source domain. The experimental results show that ASR-Norm can bring consistent improvement to the state-of-the-art ADA approaches by 1.6%, 2.7%, and 6.3% averagely on the Digits, CIFAR-10-C, and PACS benchmarks, respectively. As a generic tool, the improvement introduced by ASR-Norm is agnostic to the choice of ADA methods.

연구 동기 및 목표

• 학습 및 테스트 통계 간 도메인 이동으로 인해 배치 정규화(BN)의 단일 도메인 일반화 성능이 제한되는 문제를 해결한다.
• 학습에 사용 가능한 하나의 소스 도메인만 존재할 경우, 다양한 미사용 도메인 간 모델 일반화 성능을 향상시킨다.
• 기존의 적대적 도메인 증강(ADA) 기법과 보완 가능한 일반적인 정규화 방법을 개발한다.
• 높은 도메인 차이가 존재할 경우 BN 및 BN-Test의 불안정성과 성능 저하 문제를 극복하기 위해 적응 정규화 통계를 학습한다.
• 입력에 특화된 통계에 적응하는 엔드 투 엔드 미분 가능한 정규화를 통해 강건하고 도메인 불변 특징 학습을 가능하게 한다.

제안 방법

• 입력 특징에서 도메인 적응 정규화 파라미터를 예측하기 위해 자동에코 구조의 네트워크를 사용하는, 표준화(평균) 및 재스케일링(분산) 통계를 별도의 신경망을 통해 학습하는 정규화 레이어인 ASR-Norm을 제안한다.
• 입력 특징에서 도메인 적응 정규화 통계를 예측하기 위해 자동에코 구조의 네트워크를 사용한다.
• 학습을 안정화하기 위해 잔차 연결을 통합하고, 학습된 통계에 대해 학습 가능한 가중치를 부여한다.
• 도메인 이동에 대한 강건성을 최적화하기 위해 ADA 프레임워크 내에서 ASR-Norm을 엔드 투 엔드로 훈련한다.
• 입력에 의존하는 통계와 잔차 학습을 조합하는 방식으로 정규화를 미분 가능한 연산으로 공식화한다.
• 학습된 통계를 조정함으로써 ASR-Norm이 BN, IN, LN, GN, SN 등의 특수 케이스로 일반화될 수 있도록 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 정규화 레이어가 높은 도메인 이동 조건에서 단일 도메인 일반화 성능 향상에 기여할 수 있는가?
• RQ2 고정된 통계를 사용하는 배치 정규화와 비교해, 적응 정규화 통계를 학습하는 것이 미사용 도메인에서 더 우수한 성능을 내는가?
• RQ3 ASR-Norm는 도메인 이동 수준이 높아질수록 어떻게 성능을 발휘하는가?
• RQ4 ASR-Norm는 아키텍처 변경 없이 다양한 ADA 방법과 플러그인 모듈로 사용될 수 있는가?
• RQ5 ASR-Norm 레이어 수와 히든 차원을 늘릴 경우, 모델 복잡도와 성능 간의 상충 관계는 어떻게 되는가?

주요 결과

• ASR-Norm는 Digits, CIFAR-10-C, PACS 벤치마크에서 각각 평균 1.6%, 2.7%, 6.3% 향상되며, 최신 ADA 기법의 성능을 향상시킨다.
• PACS에서 $C_{\text{stan}} = C/16$로 설정하고 모든 정규화 레이어에 ASR-Norm를 적용할 경우, 파rameter 수가 4.1% 증가하는 데서도 정확도가 66.5%까지 상승한다.
• $C_{\text{stan}}$를 $C/2$로 증가시키면 정확도가 68.1%에 도달하며, 파라미터 수는 16.4% 증가한다. 이는 성능 향상이 비선형적임을 시사한다.
• 고오염 CIFAR-10-C 벤치마크에서 ASR-Norm는 BN 및 IN보다 뛰어난 성능을 보이며, 도메인 이동이 증가할수록 성능 격차가 커진다.
• ASR-Norm는 적대적 공격 조건에서 52.2%의 정확도를 기록하며, BN(32.0%) 및 IN(46.9%)보다 뚜렷하게 높은 강건성을 보여준다.
• 잔차 학습 구성 요소는 필수적이다. 이 요소가 없을 경우 학습이 불안정해지고 NaN 값이 발생한다.