[논문 리뷰] Exact Feature Distribution Matching for Arbitrary Style Transfer and Domain Generalization

Yabin Zhang, Minghan Li외 3명|arXiv (Cornell University)|2022. 03. 15.

Multimodal Machine Learning Applications인용 수 16

한 줄 요약

이 논문은 정확한 특징 분포 일치를 위해 실증적 누적분포함수(eCDF)를 정확히 매칭하는 새로운 방법인 정확한 특징 분포 일치(EFDM)를 제안한다. 이는 정렬-매칭 알고리즘을 통해 정확한 히스토그램 매칭(EHM)을 이용하여 딥 테처의 eCDF를 정확히 일치시킨다. EFDM는 실시간 추론 속도를 유지하면서도 다양한 스타일 전이 및 도메인 일반화에서 최신 기술을 초월하여 새로운 SOTA 성능을 달성하며, 최소한의 계산 부담으로도 가능하다.

ABSTRACT

Arbitrary style transfer (AST) and domain generalization (DG) are important yet challenging visual learning tasks, which can be cast as a feature distribution matching problem. With the assumption of Gaussian feature distribution, conventional feature distribution matching methods usually match the mean and standard deviation of features. However, the feature distributions of real-world data are usually much more complicated than Gaussian, which cannot be accurately matched by using only the first-order and second-order statistics, while it is computationally prohibitive to use high-order statistics for distribution matching. In this work, we, for the first time to our best knowledge, propose to perform Exact Feature Distribution Matching (EFDM) by exactly matching the empirical Cumulative Distribution Functions (eCDFs) of image features, which could be implemented by applying the Exact Histogram Matching (EHM) in the image feature space. Particularly, a fast EHM algorithm, named Sort-Matching, is employed to perform EFDM in a plug-and-play manner with minimal cost. The effectiveness of our proposed EFDM method is verified on a variety of AST and DG tasks, demonstrating new state-of-the-art results. Codes are available at https://github.com/YBZh/EFDM.

연구 동기 및 목표

• 기존의 가우스 가정 하에 평균과 표준편차만을 기반으로 하는 특징 분포 일치 방법의 한계를 해결하기 위해.
• 딥 테처 공간에서 정확한 분포 일치를 가능하게 하여, 근사된 고차수 통계나 부족한 모멘트 일치의 부정확성을 해결하기 위해.
• 시각 작업의 실시간 응용에 적합한 빠르고 플러그 앤 플레이 방식의 정확한 특징 분포 일치 방법을 개발하기 위해.
• eCDF 매칭을 통한 정확한 분포 일치를 활용하여 임의의 스타일 전이(ASP) 및 도메인 일반화(DG) 성능을 향상시키기 위해.
• EFDM이 도메인 일반화를 위한 다양한 고질적 특징 증강을 생성하는 데 효과적임을 입증하기 위해.

제안 방법

• 딥 테처의 실증적 누적분포함수(eCDF)를 소스 및 타겟 도메인 간에 정확히 일치시켜 정확한 특징 분포 일치(EFDM)를 제안한다.
• 클래식한 히스토그램 매칭(HM)이 동일한 값을 병합하는 데서 비롯되는 한계를 해결하기 위해, 특징 공간에서 정확한 히스토그램 매칭(EHM)을 적용하여 정확한 eCDF 일치를 달성한다.
• 정렬-매칭 알고리즘—빠른 EHM 변종—을 도입하여 동일한 값의 순서를 유지하고 O(n log n) 복잡도로 효율적인 원소 간 변환을 가능하게 한다.
• 기존의 AdaIN 스타일 손실을 대체하거나 향상시키기 위해 eCDF 매칭을 기반으로 한 새로운 스타일 손실을 도입하여, 임의의 스타일 전이에서의 스타일화 품질을 향상시킨다.
• EFDMix라는 새로운 기법을 통해 EFDM을 특징 증강에 확장하여, 도메인 일반화를 위한 다양한 고품질 데이터 증강을 가능하게 한다.
• 기존 네트워크와 호환되며 최소한의 아키텍처 변경으로도 엔드 투 엔드 학습이 가능한 플러그 앤 플레이 방식으로 EFDM을 구현한다.

실험 결과

연구 질문

• RQ1 딥 테처 공간에서 실증적 누적분포함수(eCDF)의 정확한 매칭이 평균과 분산 매칭보다 더 우수한 성능을 내는가?
• RQ2 정확한 분포 일치를 가능하게 하는 EFDM이 향상된 특징 증강을 통해 기존 방법보다 도메인 일반화 과제에서 승리하는가?
• RQ3 정렬-매칭을 통한 정확한 eCDF 매칭은 고전적 히스토그램 매칭(HM)과 비교해 분포 정확도와 계산 효율성 측면에서 어떻게 다른가?
• RQ4 EFDM이 암묵적으로 포착하는 고차수 특징 통계는 시각 품질 향상과 일반화 성능 향상에 얼마나 기여하는가?
• RQ5 EFDM은 성능을 희생시키지 않고 실시간 응용에 효율적으로 구현될 수 있는가, 특히 기존 SOTA 방법과 비교해 볼 때?

주요 결과

• EFDM은 다양한 임의의 스타일 전이 벤치마크에서 새로운 SOTA 성능을 달성했으며, 사용자 연구 결과에서 경쟁 방법들 중 가장 높은 선호도를 확보했다.
• PACS 데이터셋에서 EFDM은 도메인 일반화 과제에서 88.7%의 정확도를 기록했으며, 이는 이전 SOTA를 1% 이상 초월한 것으로, 정확한 분포 일치의 효과를 입증했다.
• Tesla V100 GPU에서 512×512 이미지 기준으로 EFDM은 256 FPS로 실행되어 AdaIN과 유사한 추론 속도를 확보하면서도 훨씬 뛰어난 성능을 제공한다.
• EFDM은 AdaMean 및 AdaStd 변종보다도 우수한 성능을 보이며, eCDF 일치를 통한 고차수 통계의 암묵적 매칭이 더 나은 스타일화 및 일반화 성능을 이끌어낸다는 것을 보여준다.
• EFDMix는 EFDM을 특징 증강에 확장한 기법으로, 더 다양한 고품질의 특징 증강을 생성하여 도메인 일반화 과제에서의 일반화 성능을 향상시켰다.
• 동일한 값을 정렬하는 방식(예: 유지, 무작위, 또는 이웃 기반)에 따라 다양한 EHM 구현 방식이 유사한 성능를 보였으며, 이는 정렬-매칭이 속도 면에서 최적의 선택임을 확인한다.