[논문 리뷰] Feature Stylization and Domain-aware Contrastive Learning for Domain Generalization

Seogkyu Jeon, Kibeom Hong외 3명|arXiv (Cornell University)|2021. 08. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 4

한 줄 요약

이 논문은 학습 중 타겟 도메인 데이터에 접근할 수 없을 때도 도메인 일반화 프레임워크를 제안하며, 도메인 특화 통계를 이용해 딥 특징을 스타일화하여 클래스 의미를 유지하면서도 새로운 도메인을 생성한다. 특징을 고주파 및 저주파 성분으로 분해하고, 저주파 성분만 스타일화하며, 도메인 인식형 대비 손실을 적용함으로써, PACS 및 Office-Home 벤치마크에서 최신 기술 수준의 성능을 달성하며 기존 방법보다 강건성과 일반화 능력에서 뛰어나다.

ABSTRACT

Domain generalization aims to enhance the model robustness against domain shift without accessing the target domain. Since the available source domains for training are limited, recent approaches focus on generating samples of novel domains. Nevertheless, they either struggle with the optimization problem when synthesizing abundant domains or cause the distortion of class semantics. To these ends, we propose a novel domain generalization framework where feature statistics are utilized for stylizing original features to ones with novel domain properties. To preserve class information during stylization, we first decompose features into high and low frequency components. Afterward, we stylize the low frequency components with the novel domain styles sampled from the manipulated statistics, while preserving the shape cues in high frequency ones. As the final step, we re-merge both components to synthesize novel domain features. To enhance domain robustness, we utilize the stylized features to maintain the model consistency in terms of features as well as outputs. We achieve the feature consistency with the proposed domain-aware supervised contrastive loss, which ensures domain invariance while increasing class discriminability. Experimental results demonstrate the effectiveness of the proposed feature stylization and the domain-aware contrastive loss. Through quantitative comparisons, we verify the lead of our method upon existing state-of-the-art methods on two benchmarks, PACS and Office-Home.

연구 동기 및 목표

• 학습 중 타겟 도메인 데이터에 접근할 수 없을 때도 딥 러닝에서의 도메인 이동 문제를 해결하기 위해.
• 기존 도메인 일반화 방법이 도메인 합성 과정에서 최적화 문제 또는 의미 왜곡 문제를 겪는 데서 비롯되는 한계를 극복하기 위해.
• 학습 중에 다양한 새로운 도메인 스타일을 생성하면서도 클래스 분류 정보를 유지하기 위해.
• 새로운 대비 학습 목표를 통해 특징과 출력 일관성을 강화함으로써 모델의 강건성을 향상시키기 위해.

제안 방법

• 방법은 배치 기반 특징 통계를 변형하여 새로운 도메인 스타일을 샘플링하며, 표준편차 재조정을 통해 외곽 스타일 벡터를 강조한다.
• 주파수 분해 기법을 사용해 특징을 고주파(형상 정보) 및 저주파(텍스처/스타일리스틱) 성분으로 분해한다.
• 오로지 저주파 성분만 샘플된 도메인 스타일을 사용한 애핀 변환으로 스타일화하여 고주파 구조 정보를 유지한다.
• 스타일화된 저주파 성분과 원본 고주파 성분을 재결합하여 새로운 도메인 특징을 형성한다.
• 특징과 출력 일관성을 도메인 인식형 감독 대비 손실을 통해 강제함으로써 클래스 분류 능력을 향상시킨다.
• 특징 스타일화 블록을 ResNet 아키텍처의 두 번째 잔차 블록 뒤에 전략적으로 배치하여 저수준 및 고수준 특징 표현의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 학습 중 타겟 데이터에 접근할 수 없을 때, 통계 기반 도메인 스타일에 기반한 특징 스타일화가 새로운 도메인으로의 일반화를 향상시킬 수 있는가?
• RQ2 새로운 도메인을 합성할 때 특징 스타일화 과정에서 클래스 의미를 어떻게 유지할 수 있는가?
• RQ3 딥 신경망 내부에서 특징 스타일화를 적용할 최적의 위치와 성분은 무엇인가?
• RQ4 기본 대비 학습에 비해 도메인 인식형 대비 손실이 모델의 강건성과 일반화 능력을 향상시키는가?
• RQ5 특징 재조정 스케일은 스타일화된 특징에서 형상과 텍스처 정보 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 Office-Home 벤치마크에서 평균 정확도 85.86%를 달성하여 베이스라인보다 2.32%p 높게 기록했다.
• PACS 데이터셋에서는 평균 정확도 83.95%를 기록하여 베이스라인보다 0.41%p 높게 기록했다.
• 절단 실험 결과, 저주파 성분만 스타일화할 경우 성능이 가장 우수하며, 고주파 성분을 사용한 경우보다 0.39%p 향상되었다.
• 특징 재조정의 최적 스케일 파라미터는 10으로 확인되었으며, 이는 형상과 텍스처 신호의 이용을 균형 있게 유지한다.
• 특징 스타일화 블록을 두 번째 잔차 블록 뒤에 위치시킬 경우 성능이 가장 높게 나타나, 이 레이어가 구조적 및 의미적 정보의 최적 균형을 반영하고 있음을 시사한다.
• 도메인 인식형 대비 손실은 일반화 능력을 크게 향상시키며, 스타일화와 조합했을 때 표준 대비 학습 대비 평균 정확도 2.26%p 향상되었다.