[논문 리뷰] Domain Generalisation via Domain Adaptation: An Adversarial Fourier Amplitude Approach

Minyoung Kim, Da Li외 1명|arXiv (Cornell University)|2023. 02. 23.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 푸리에 진폭 조작을 사용하여 악성 대상 도메인을 합성함으로써 도메인 일반화를 적대적 도메인 적응으로 공식화하는 새로운 도메인 일반화 방법 AGFA를 제안한다. 베이지안 최대 분류기 불일치를 활용하여 소스 도메인의 위상과 적대적으로 훈련된 스타일을 변화시키는 푸리에 진폭을 조합함으로써, AGFA는 DomainBed 및 PACS 벤치마크에서 최신 기술 수준을 달성하여 단일 소스 일반화에서 이전 방법보다 최대 10% 높은 성능을 기록한다.

ABSTRACT

We tackle the domain generalisation (DG) problem by posing it as a domain adaptation (DA) task where we adversarially synthesise the worst-case target domain and adapt a model to that worst-case domain, thereby improving the model's robustness. To synthesise data that is challenging yet semantics-preserving, we generate Fourier amplitude images and combine them with source domain phase images, exploiting the widely believed conjecture from signal processing that amplitude spectra mainly determines image style, while phase data mainly captures image semantics. To synthesise a worst-case domain for adaptation, we train the classifier and the amplitude generator adversarially. Specifically, we exploit the maximum classifier discrepancy (MCD) principle from DA that relates the target domain performance to the discrepancy of classifiers in the model hypothesis space. By Bayesian hypothesis modeling, we express the model hypothesis space effectively as a posterior distribution over classifiers given the source domains, making adversarial MCD minimisation feasible. On the DomainBed benchmark including the large-scale DomainNet dataset, the proposed approach yields significantly improved domain generalisation performance over the state-of-the-art.

연구 동기 및 목표

• 실제 대상 도메인 데이터가 없을 경우 분포 이탈로 인해 모델이 실패하는 도메인 일반화(DG) 문제를 해결하기 위해.
• 훈련을 위해 가장 도전적이지만 의미적으로 타당한 대상 도메인을 시뮬레이션하여 모델의 강건성을 향상시키기 위해.
• 도메인 적응 이론에 기반한 원리적인 적대적 프레임워크를 통해 데이터 증강과 도메인 정렬을 통합하기 위해.
• 진폭(스타일)과 위상(의미)을 분리하는 푸리에 도메인 분해를 활용하여 의미 유지 가능한 데이터 합성하기 위해.
• 의미적 내용을 훼손하지 않으면서 악성 대상 데이터를 효과적으로 적대적으로 훈련시키기 위해.

제안 방법

• 푸리에 진폭 합성을 사용하여 가장 악성인 대상 도메인을 생성함으로써 도메인 일반화를 적대적 도메인 적응으로 공식화하는 방법을 제안한다.
• 푸리에 진폭이 이미지 스타일을 제어하고 위상은 의미를 유지한다는 가설을 활용하여, 의미 변화 없이 스타일 전이가 가능하다.
• 변분 베이지안 접근법을 통해 분류기의 가설 공간을 후행 분포로 모델링함으로써, 효율적인 최대 분류기 불일치(MCD) 최소화를 가능하게 한다.
• 적대적 생성기가 MCD를 최대화하는 푸리에 진폭 이미지를 생성하도록 훈련시켜 가장 도전적인 대상 도메인을 시뮬레이션한다.
• 분류기는 합성된 악성 대상 도메인에서 MCD를 최소화하도록 공동으로 훈련되어 강건성을 향상시킨다.
• 진폭 생성기의 적대적 훈련과 분류기 불확실성의 베이지안 모델링을 결합하여 안정적이고 일반화 가능한 적응을 보장한다.

Figure 1: Overall training flow of the proposed approach (AGFA). We generate target-domain data by synthesizing Fourier amplitude images trained adversarially. See main text in Sec. 3 for details.

실험 결과

연구 질문

• RQ1 실제 대상 데이터에 접근할 수 없을 때, 악성 대상 도메인을 효과적으로 시뮬레이션할 수 있는가?
• RQ2 푸리에 진폭 기반 데이터 증강은 의미적 내용을 유지하면서 도전적인 스타일 변형을 도입할 수 있는가?
• RQ3 분류기 가설의 베이지안 모델링이 DG 환경에서 효과적인 최대 분류기 불일치 최소화를 가능하게 하는가?
• RQ4 악성 도메인의 적대적 합성은 다양한 벤치마크에서 일반화 성능 향상에 기여하는가?
• RQ5 제안된 방법은 표준 및 단일 소스 도메인 일반화 설정 모두에서 최신 기술 수준의 방법들과 비교해 어떻게 성능를 내는가?

주요 결과

• ResNet-18 기반의 DomainBed 벤치마크에서 AGFA는 평균 정확도 73.8%를 기록하여 이전 최신 기술 수준 방법(MMD)을 0.5% 뛰어넘었다.
• 대규모 DomainNet 데이터셋에서 AGFA는 다양한 도메인 이동에 대해 강건함을 입증하며 최신 기술 수준의 성능를 달성했다.
• ResNet-18 기반의 PACS 단일 소스 일반화 설정에서 AGFA는 최고의 이전 방법(EFDMix)보다 평균 정확도에서 10.2% 높은 성능를 기록했다.
• ResNet-50를 사용할 경우 AGFA는 평균 정확도 68.7%를 기록하여 EFDMix를 7.5% 뛰어넘었다.
• 시각적 분석 결과, 푸리에 기반으로 생성된 이미지는 픽셀 기반 생성기들이 생성하는 무작위 노이즈와 달리 주요 의미적 윤곽을 유지하고 있음을 확인했다.
• 절단 분석 결과, 베이지안 MCD와 푸리에 진폭 합성의 조합이 성능 향상에 필수적이며, 각 성분이 강건성 향상에 기여하고 있음을 입증했다.

Figure 2: Illustration of the SMCD loss on three different hypothesis spaces $\mathcal{H}_{|S}$ shown in three panels. For $C=3$ -way classification case, each panel shows the class logit scores (Gaussian random) $f_{j}(x)\sim\mathcal{N}(\mu_{j}(x),\sigma_{j}(x)^{2})$ for $j=1,2,3$ , at some input $