[논문 리뷰] A Fourier-based Framework for Domain Generalization

Qinwei Xu, Ruipeng Zhang외 3명|arXiv (Cornell University)|2021. 05. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 11

한 줄 요약

이 논문은 푸리에 도메인에서의 위상 정보를 강조함으로써 모델의 강건성을 향상시키는 푸리에 기반 프레임워크 FACT를 제안한다. 진폭 혼합 데이터 증강과 공교사 정규화를 사용하여 모델이 의미적으로 풍부한 위상 성분에 집중하도록 유도함으로써, Digits-DG, PACS, OfficeHome 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Modern deep neural networks suffer from performance degradation when evaluated on testing data under different distributions from training data. Domain generalization aims at tackling this problem by learning transferable knowledge from multiple source domains in order to generalize to unseen target domains. This paper introduces a novel Fourier-based perspective for domain generalization. The main assumption is that the Fourier phase information contains high-level semantics and is not easily affected by domain shifts. To force the model to capture phase information, we develop a novel Fourier-based data augmentation strategy called amplitude mix which linearly interpolates between the amplitude spectrums of two images. A dual-formed consistency loss called co-teacher regularization is further introduced between the predictions induced from original and augmented images. Extensive experiments on three benchmarks have demonstrated that the proposed method is able to achieve state-of-the-arts performance for domain generalization.

연구 동기 및 목표

• 학습 데이터와 다를 경우 성능이 저하되는 도메인 시프트 문제를 해결하기 위해 딥 러닝에서의 도메인 시프트 문제를 다루는 것.
• 라벨이 없는 타겟 도메인 데이터가 필요 없이도 새로운 타겟 도메인으로 일반화할 수 있도록 도메인 적응의 한계를 극복하는 것.
• 위상 정보가 도메인 불변성과 고수준 의미 정보를 지닌다는 가설을 세우며, 새로운 푸리에 기반 시각적 관점 탐색.
• 위상 정보에 집중하도록 암시적이고 명시적으로 유도하는 데이터 증강 및 정규화 전략 개발.
• 위상 성분에서 학습하는 것이 제로샷 설정에서 다양한 도메인 간 보다 우수한 일반화를 이끌어내는지 입증하는 것.

제안 방법

• 두 이미지의 진폭 스펙트럼을 선형으로 보간하면서 위상 성분을 유지하는 푸리에 기반 데이터 증강 기법인 진폭 혼합을 제안.
• 모멘터리 업데이트된 교사 네트워크를 사용하여 원본 이미지와 진폭이 훼손된 이미지 간의 예측 일致성을 강제하는 이중 일致성 손실인 공교사 정규화를 도입.
• 이미지를 진폭 스펙트럼과 위상 스펙트럼으로 분해하고, 위상을 주로 의미적 콘텐츠의 근원으로 간주.
• 원본 이미지와 증강된 이미지 간의 예측 불일치를 최소화하도록 모델을 훈련함으로써, 암시적으로 모델이 위상 기반 특징에 더 의존하도록 유도.
• 타겟 도메인 애너테이션 없이도 엔드 투 엔드로 자기지도 학습 방식으로 프레임워크를 적용.
• 이론적 분석을 통해 진폭 훼손이 분류기의 진폭 기반 특징에 대한 의존도를 감소시켜 위상 기반 특징에 더 집중하도록 유도한다는 것을 입증.

실험 결과

연구 질문

• RQ1 푸리에 도메인에서의 위상 정보가 도메인 불변 신호로서 일반화 성능 향상에 효과적인가?
• RQ2 진폭을 훼손하면서도 위상을 유지하는 데이터 증강 기법이 새로운 도메인에서 보다 우수한 일반화를 이끌어내는가?
• RQ3 공교사 정규화를 통해 원본 이미지와 증강된 이미지 간의 예측 일치성을 강제하면 보다 높은 강건성이 달성되는가?
• RQ4 위상 정보에 대한 의존도가 진폭 또는 공간 특징에 대한 의존도보다 일반화 성능 측면에서 더 우수한가?
• RQ5 위상만을 이용해 재구성한 이미지의 내재적 의미 콘텐츠는 무엇이며, 윤곽선과 같은 물체 수준의 구조와 어떻게 관련되어 있는가?

주요 결과

• FACT는 Digits-DG, PACS, OfficeHome와 같은 세 가지 표준 도메인 일반화 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 위상만으로 재구성된 이미지가 라플라시안 에지 매핑과 높은 코사인 유사도(0.914)를 보이며, 이는 위상 정보가 윤곽선과 같은 핵심 구조적 단서를 포함하고 있음을 시사한다.
• 제거 실험을 통해 진폭 혼합과 공교사 정규화가 성능 향상에 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어진다.
• 이론적 분석은 진폭 훼손이 분류기의 진폭 기반 특징에 대한 의존도를 감소시켜 위상 기반 특징에 더 집중하도록 유도한다는 가설을 지지한다.
• FACT로 훈련된 모델은 위상 기반 도메인 불변 의미적 구조에 더 집중함으로써 새로운 도메인으로의 일반화 성능이 향상된다.
• 시각적 점검과 정량적 분석을 통해 위상 정보가 물체 윤곽선과 공간적 관계를 유지함을 확인하였으며, 이는 다양한 도메인 간 의미 이해에 핵심적이다.