[논문 리뷰] Test-time Fourier Style Calibration for Domain Generalization

Xingchen Zhao, Chang Liu외 3명|arXiv (Cornell University)|2022. 05. 13.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 추론 시에 소스 도메인 프로토타입을 통해 푸리에 분해를 이용해 타겟 도메인 스타일 특징을 校정하는 Test-time Fourier Style Calibration (TF-Cal)을 제안한다. 동시에 스타일 다양성을 향상시키기 위해 Augment Amplitude Features (AAF)를 도입한다. 이 방법은 학습 시 타겟 도메인 데이터가 필요로 하지 않으며, 추론 시에만 타겟 도메인 스타일을 소스 도메인 스타일과 일치시킴으로써 도메인 간 격차를 줄여 이미지 분류 및 의료 영상 분할 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The topic of generalizing machine learning models learned on a collection of source domains to unknown target domains is challenging. While many domain generalization (DG) methods have achieved promising results, they primarily rely on the source domains at train-time without manipulating the target domains at test-time. Thus, it is still possible that those methods can overfit to source domains and perform poorly on target domains. Driven by the observation that domains are strongly related to styles, we argue that reducing the gap between source and target styles can boost models' generalizability. To solve the dilemma of having no access to the target domain during training, we introduce Test-time Fourier Style Calibration (TF-Cal) for calibrating the target domain style on the fly during testing. To access styles, we utilize Fourier transformation to decompose features into amplitude (style) features and phase (semantic) features. Furthermore, we present an effective technique to Augment Amplitude Features (AAF) to complement TF-Cal. Extensive experiments on several popular DG benchmarks and a segmentation dataset for medical images demonstrate that our method outperforms state-of-the-art methods.

연구 동기 및 목표

• 도메인 간 격차로 인해 새로운 타겟 도메인에서 성능이 떨어지는 딥 러닝 모델의 도메인 일반화 문제를 해결하기 위해.
• 기존 도메인 일반화 방법이 학습 시 소스 도메인 데이터에만 의존하여 알려지지 않은 타겟 도메인에 적응할 수 없는 한계를 극복하기 위해.
• 특징의 푸리에 분해를 활용해 추론 시에 타겟 도메인 스타일을 소스 도메인 스타일과 일치시킴으로써 도메인 간 격차를 줄이기 위해.
• 도메인 레이블이 필요로 하지 않으며, 타겟 도메인 데이터가 학습 시에 포함되지 않는 간단하면서도 효과적인 추론 시 校정 및 특징 증강 메커니즘을 통해 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• 푸리에 변환을 이용해 초기 합성곱 특징을 진폭(스타일)과 위상(의미) 성분으로 분해한다.
• 추론 시 푸리에 스타일 校정(TF-Cal)은 소스 도메인 특징에서 유도된 프로토타입을 사용해 타겟 도메인의 진폭 특징을 선형 조합으로 보정한다.
• 소스 도메인 프로토타입은 학습 중에 추정되며, 추론 시에 타겟 도메인 스타일을 소스 도메인 스타일과 일치시키는 데 사용된다.
• Augment Amplitude Features (AAF)는 특징 공간 내에서 진폭 특징을 증강함으로써 고차원 스타일 표현의 다양성을 높여 강건성을 향상시킨다.
• TF-Cal과 AAF는 TAF-Cal로 통합되며, 이는 도메인 레이블이나 학습 시 타겟 도메인 데이터가 필요로 하지 않도록 추론 시 적용된다.
• 이 방법은 아키텍처에 종속되지 않으며, 어떤 CNN 백본에도 통합될 수 있다.

실험 결과

연구 질문

• RQ1 추론 시 실시간으로 스타일을 校정하는 것이 도메인 일반화에서 알려지지 않은 타겟 도메인으로의 일반화 성능을 향상시키는가?
• RQ2 특징을 진폭(스타일)과 위상(의미) 성분으로 푸리에 분해함으로써 도메인 간 격차를 효과적으로 줄일 수 있는가?
• RQ3 특징 공간 내에서 진폭 특징을 증강하는 것이 이미지 공간 증강을 넘어서 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ4 TF-Cal을 CNN 아키텍처 내에서 적용할 최적의 위치와 하이퍼파라미터 설정은 무엇인가?
• RQ5 TF-Cal과 AAF는 다양한 벤치마크에서 성능 향상에 어떻게 상호 보완적인 역할을 하는가?

주요 결과

• TAF-Cal은 PACS 벤치마크에서 최신 기술 수준 성능을 달성하였으며, ResNet-50 기준으로 상위 1 정확도 86.73%를 기록했다.
• TF-Cal만으로도 ResNet-18 기준으로 PACS에서 85.70%의 상위 1 정확도를 달성하여 대부분의 기존 방법을 능가했다.
• 제거 실험 결과, TF-Cal이 추론 시에만 적용되어야 성능 향상이 이루어지며, 학습 시에만 적용할 경우 유의미한 향상이 없음을 확인했다.
• AAF만으로도 PACS에서 85.69%의 정확도를 기록하여 FACT(83.44%)를 능가하며 특징 공간 내 진폭 증강의 효과를 입증했다.
• TF-Cal의 최적 하이퍼파라미터 설정은 η = τ = 0.5이며, 이보다 큰 값은 타겟 스타일을 과도하게 校정하여 성능을 떨어뜨린다.
• t-SNE 시각화 결과, TF-Cal은 타겟 도메인에 대해 명확하고 잘 분리된 클러스터를 생성하는 반면, AAF만으로는 경계가 흐려지는 경향을 보였으며, 이는 TF-Cal이 정렬성과 분류 가능성을 모두 향상시킨다는 것을 확인한다.