[논문 리뷰] Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts

Qi Fan, Mattia Segù외 5명|arXiv (Cornell University)|2022. 11. 08.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 깊이 신경망의 얕은 합성곱층에서 채널 통계를 흔들어 실제 세계의 도메인 분리 문제를 완화하는 간단하면서도 효과적인 도메인 일반화 방법인 정규화 편향(Normalization Perturbation, NP)을 제안한다. 학습 중에 단일 소스 도메인으로부터 다양한 잠재 도메인 스타일을 합성함으로써, NP는 모델이 도메인 불변 표현을 학습하고 사전에 타겟 도메인 데이터가 없이도 예측할 수 없는 도메인으로도 견고하게 일반화할 수 있도록 한다. 이는 객체 검출 및 세분화 벤치마크에서 기존 최고 성능(SOTA) 방법들을 능가한다.

ABSTRACT

Improving model's generalizability against domain shifts is crucial, especially for safety-critical applications such as autonomous driving. Real-world domain styles can vary substantially due to environment changes and sensor noises, but deep models only know the training domain style. Such domain style gap impedes model generalization on diverse real-world domains. Our proposed Normalization Perturbation (NP) can effectively overcome this domain style overfitting problem. We observe that this problem is mainly caused by the biased distribution of low-level features learned in shallow CNN layers. Thus, we propose to perturb the channel statistics of source domain features to synthesize various latent styles, so that the trained deep model can perceive diverse potential domains and generalizes well even without observations of target domain data in training. We further explore the style-sensitive channels for effective style synthesis. Normalization Perturbation only relies on a single source domain and is surprisingly effective and extremely easy to implement. Extensive experiments verify the effectiveness of our method for generalizing models under real-world domain shifts.

연구 동기 및 목표

• 자율 주행과 같은 안전이 중요한 시스템에서의 실제 세계의 딥 러닝 응용에서 발생하는 도메인 분리 문제를 해결하기 위해.
• 딥 러닝 모델이 소스 도메인의 스타일에 과적합되어 실제 세계의 도메인 분리 상황에서 일반화에 실패하는 이유를 탐구하기 위해.
• 타겟 도메인 데이터 접근 없이도 일반화 성능을 향상시키기 위한 방법을 개발하기 위해.
• 특징 통계 편향를 통한 잠재 도메인 스타일 합성으로 단일 소스 도메인만으로도 효과적인 도메인 일반화를 가능하게 하기 위해.

제안 방법

• 학습 중에 얕은 합성곱층의 특징맵에 대한 채널별 평균과 표준편차를 흔들어 다양한 도메인 스타일을 시뮬레이션한다.
• 정규화 편향(NP)은 초기 레이어의 배치 정규화 통계에 무작위 편향을 적용하여, 모델이 잠재적인 도메인 변형을 더 잘 인지하도록 한다.
• 추가 학습 가능한 파라미터, 입력 또는 손실 함수가 필요 없는 간단하고 즉시 적용 가능한 모듈로 구현된다.
• 저자들은 효율적이고 효과적인 스타일 합성을 위해 초기 레이어의 스타일 민감도가 높은 채널을 식별하고 집중한다.
• NP는 단일 소스 도메인에서 학습 중에 적용되어, 모델이 예측 불가능한 도메인 분리에 강건한 표현을 학습하도록 한다.
• 이 방법은 객체 검출 및 세분화 작업 모두에서 평가되어, 고밀도 예측 작업 전반에 걸쳐 넓은 적용 가능성을 보여준다.

실험 결과

연구 질문

• RQ1 왜 딥 러닝 모델은 소스 도메인과 스타일이 다를 경우 실제 세계의 도메인 분리 상황에서 일반화에 실패하는가?
• RQ2 타겟 데이터에 접근하지 않고도 단일 소스 도메인에서 잠재 도메인 스타일을 합성함으로써 도메인 일반화 성능을 얼마나 향상시킬 수 있는가?
• RQ3 얕은 레이어에서 특징 통계를 흔들면 모델이 도메인 불변 표현을 학습하는 데 어떤 영향을 미치는가?
• RQ4 NP처럼 단순하고 파라미터가 없는 방법이 실제 세계 벤치마크에서 복잡한 도메인 일반화 및 비지도 도메인 적응 방법들을 능가할 수 있는가?
• RQ5 어느 레이어와 특징 채널이 도메인 스타일 변화에 가장 민감한가? 그리고 이를 효과적인 스타일 합성에 어떻게 활용할 수 있는가?

주요 결과

• 정규화 편향(NP)은 예측 불가능한 도메인에서의 일반화 성능을 크게 향상시켜, Cityscapes에서 Foggy Cityscapes로의 객체 검출 적응 벤치마크에서 58.7% AP50를 달성하며 이전 SOTA인 52.4%를 뛰어넘었다.
• NP+ 버전은 S→C에서 58.7% AP50, C→F에서 46.3%를 기록하여 스타일 민감도 채널 선택의 효과를 입증했다.
• 세분화 도메인 일반화 작업에서 NP는 도메인 간 다양성이 큰 다섯 개의 데이터셋(Cityscapes, BDD100k, Mapillary Vistas, Synthia, GTAV) 평균 mIoU 52.16%를 기록하여 이전 SOTA인 RobustNet을 1.5%p 뛰어넘었다.
• 이 방법은 객체 검출 및 세분화 작업 전반에 걸쳐 잘 일반화되어, 작업 특화 방법을 넘어서 넓은 적용 가능성을 보였다.
• t-SNE 시각화 결과 NP가 타겟 도메인 분포를 흔들린 소스 도메인 특징 공간에 효과적으로 통합하여 깊은 레이어에서 도메인 간 불일치를 줄임을 확인했다.
• 제거 실험 결과 얕은 레이어만 흔들어도 강력한 도메인 일반화가 가능함을 입증하여, 도메인 분리에 대한 저항력에서 저수준 특징 통계의 핵심적 역할을 입증했다.