[논문 리뷰] Learning to Optimize Domain Specific Normalization for Domain Generalization

Seonguk Seo, Yumin Suh외 4명|arXiv (Cornell University)|2019. 07. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 32

한 줄 요약

이 논문은 도메인 특화 최적화 정규화(DSON)를 제안하며, 배치 정규화와 인스턴스 정규화의 도메인별 애핀 매개변수와 혼합 가중치를 학습하여 모델의 일반화 성능을 햖थ한다. 도메인 별로 정규화 유형을 적응적으로 조합함으로써 DSON는 표준 벤치마크에서 최고 성능을 기록하며, PACS에서 평균 정확도 85.11%를 달성하고 레이블 노이즈에 대해 뛰어난 강건성을 보였다.

ABSTRACT

We propose a simple but effective multi-source domain generalization technique based on deep neural networks by incorporating optimized normalization layers that are specific to individual domains. Our approach employs multiple normalization methods while learning separate affine parameters per domain. For each domain, the activations are normalized by a weighted average of multiple normalization statistics. The normalization statistics are kept track of separately for each normalization type if necessary. Specifically, we employ batch and instance normalizations in our implementation to identify the best combination of these two normalization methods in each domain. The optimized normalization layers are effective to enhance the generalizability of the learned model. We demonstrate the state-of-the-art accuracy of our algorithm in the standard domain generalization benchmarks, as well as viability to further tasks such as multi-source domain adaptation and domain generalization in the presence of label noise.

연구 동기 및 목표

• 학습 중 타겟 도메인 데이터가 가용하지 않을 때 도메인 불변 표현을 학습하는 데 도전하는 것.
• 도메인 특화 스타일을 제거하면서도 의미 정보를 유지함으로써 미관찰 도메인으로의 모델 일반화를 향상시키는 것.
• 학습 가능한 혼합 가중치를 사용해 도메인 별로 정규화 유형을 동적으로 최적화하는 딥 러닝 아키텍처를 설계하는 것.
• 기존 정규화 기법과 도메인 일반화 베이스라인을 초월하는 것.
• 노이즈가 있는 레이블 조건과 다중 소스 도메인 적응 설정에서의 효과성을 검증하는 것.

제안 방법

• 각 도메인 별로 별도의 배치 통계와 애핀 매개변수를 유지하는 도메인 특화 정규화 레이어를 갖춘 다중 소스 도메인 일반화 프레임워크를 활용한다.
• 각 도메인에서 활성화 값은 배치 정규화(BN)와 인스턴스 정규화(IN) 통계의 가중 평균을 통해 정규화되며, 가중치는 학습 중에 학습된다.
• 혼합 가중치는 도메인 별로 최적화되어 각 도메인이 특성에 따라 BN과 IN 사이의 최적 균형을 동적으로 선택할 수 있도록 한다.
• 모든 다른 파라미터(예: 합성곱 레이어)는 도메인 간에 공유되어 파라미터 효율성과 도메인 불변 특징 학습을 보장한다.
• 표준 CNN 백본 내에서 도메인 특화 정규화 통계와 애핀 매개변수를 통합한 DSON 모듈을 구현한다.
• 모델은 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 혼합 가중치는 미분 가능하여 기울기 기반 최적화가 가능하다.

실험 결과

연구 질문

• RQ1 도메인 특화 정규화 매개변수를 학습하면, 새로운 도메인으로의 일반화 성능 향상에 기여하는가?
• RQ2 학습 가능한 혼합 가중치를 사용해 배치 정규화와 인스턴스 정규화를 조합할 경우 도메인 일반화 성능에 어떤 영향을 미치는가?
• RQ3 도메인 특화 혼합 가중치 전략이 도메인 무관 또는 고정된 정규화 전략보다 우월한가?
• RQ4 노이즈가 있는 레이블 조건이나 다중 소스 도메인 적응 설정에서 이 방법의 성능은 어떠한가?
• RQ5 실제 벤치마크에서 각 도메인 별로 배치 정규화와 인스턴스 정규화 사이의 최적 균형은 무엇인가?

주요 결과

• DSON는 다중 소스 도메인 일반화 설정에서 PACS 데이터셋에서 평균 정확도 85.11%를 기록하며, 도메인 무관 혼합 가중치 대비 2.29%p 높은 성능을 보였다.
• PACS에서 DSON는 도메인 간 전이 설정에서 최대 20.36%p의 정확도 향상을 기록했다(예: 예술 페ints에서 만화로 전이할 때 48.74%에서 84.67%로 향상).
• 다중 소스 훈련에서 혼합 가중치는 인스턴스 정규화를 더 선호한다: PACS에서는 3:7(IN:BN), Office-Home에서는 1:9로, 도메인 불변성 확보에 대해 IN에 더 의존함을 시사한다.
• 도메인 특화 혼합 가중치는 도메인 무관 전략보다 성능 향상을 이끌었으며, PACS에서 평균 정확도 2.29%p 향상되었다.
• DSON는 레이블 노이즈 조건에서도 뛰어난 성능을 유지하며, 비지도 도메인 적응으로의 일반화 성능도 뛰어나 강건성과 유연성을 입증했다.
• 단일 소스 도메인 브랜치를 통합할 경우 일관된 성능 향상이 관찰되었으며, DSON(all)은 PACS에서 아트(84.67%), 만화(77.65%), 스케치(82.23%), 사진(95.87%)의 정확도를 기록했다.