[논문 리뷰] Wave-SAN: Wavelet based Style Augmentation Network for Cross-Domain Few-Shot Learning

Yuqian Fu, Yu Xie외 3명|arXiv (Cornell University)|2022. 03. 15.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

이 논문은 교차 도메인 소수 학습(CD-FSL)을 위한 웨이블릿 기반 스타일 증강 네트워크인 Wave-SAN을 제안한다. 이는 이산 웨이블릿 변환을 통해 이미지를 저주파수(형태/스타일) 및 고주파수(질감) 성분으로 분해함으로써 시각적 스타일 이동에 대한 모델의 강건성을 향상시킨다. 저주파수 성분에 대해 적응형 인스턴스 정규화(AdaIN)를 적용하여 스타일 증강을 수행하면서도 질감을 유지하며, 의미적 이탈을 방지하기 위해 자기지도 학습 모듈을 사용한다. 이 방법은 여러 CD-FSL 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 기준 모델의 정확도를 최대 6.32% 향상시킨다.

ABSTRACT

Previous few-shot learning (FSL) works mostly are limited to natural images of general concepts and categories. These works assume very high visual similarity between the source and target classes. In contrast, the recently proposed cross-domain few-shot learning (CD-FSL) aims at transferring knowledge from general nature images of many labeled examples to novel domain-specific target categories of only a few labeled examples. The key challenge of CD-FSL lies in the huge data shift between source and target domains, which is typically in the form of totally different visual styles. This makes it very nontrivial to directly extend the classical FSL methods to address the CD-FSL task. To this end, this paper studies the problem of CD-FSL by spanning the style distributions of the source dataset. Particularly, wavelet transform is introduced to enable the decomposition of visual representations into low-frequency components such as shape and style and high-frequency components e.g., texture. To make our model robust to visual styles, the source images are augmented by swapping the styles of their low-frequency components with each other. We propose a novel Style Augmentation (StyleAug) module to implement this idea. Furthermore, we present a Self-Supervised Learning (SSL) module to ensure the predictions of style-augmented images are semantically similar to the unchanged ones. This avoids the potential semantic drift problem in exchanging the styles. Extensive experiments on two CD-FSL benchmarks show the effectiveness of our method. Our codes and models will be released.

연구 동기 및 목표

• 교차 도메인 소수 학습(CD-FSL)에서 소스 도메인과 타겟 도메인 간 큰 시각적 스타일 이동 문제를 해결하기 위해, 이는 존재하는 FSL 방법이 도메인 갭으로 인해 실패하기 때문이다.
• 기존의 CD-FSL 연구에서 다루지 않은 소스 도메인의 스타일 분포를 커버함으로써 모델의 일반화 능력을 향상시키기 위해.
• 의미적 콘텐츠를 유지하면서도 훈련 중 스타일 다양성을 증가시키는 파라미터가 없는, 역행 가능(invertible)한 데이터 증강 전략을 개발하기 위해.
• 스틸 전송으로 인한 의미적 이탈을 줄이기 위해, 추가적인 레이블 데이터가 필요 없이 의미적으로 일관된 예측을 유지하는 자기지도 학습 모듈을 도입하기 위해.

제안 방법

• 이 방법은 이산 웨이블릿 변환(DWT)과 역이산 웨이블릿 변환(IDWT)을 사용하여 입력 이미지를 저주파수 성분(형태 및 스타일 포함)과 고주파수 성분(질감 포함)으로 분해한다.
• 새로운 StyleAug 모듈은 두 이미지 간의 저주파수 성분을 교환하기 위해 적응형 인스턴스 정규화(AdaIN)를 적용하여, 형태나 질감을 변경하지 않은 채 스타일 증강을 가능하게 한다.
• 고주파수 성분은 그대로 유지되어 분류에 중요한 세밀한 질감 정보를 유지한다.
• 자기지도 학습(SSL) 모듈은 원본 이미지와 스타일 증강된 이미지의 모델 예측이 의미적으로 일관되게 유지되도록 하여 의미적 이탈을 줄인다.
• 이 프레임워크는 플러그 앤 플레이 방식이며, 기존의 FSL 모델인 GNN과 FWT와 통합 가능하여, 큰 스타일 이동이 있는 타겟 도메인에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 웨이블릿 기반 분해가 소수 학습에서 스타일을 형태 및 질감에서 정확히 분리하여 타겟된 스타일 증강을 가능하게 하는가?
• RQ2 고주파수 세부 정보를 유지하면서도 저주파수 성분만 증강하는 것이 교차 도메인 소수 학습에서 시각적 스타일 이동에 대한 강건성을 향상시키는가?
• RQ3 추가적인 레이블 데이터가 없이도 자기지도 학습 모듈이 스타일 전송 중 의미적 이탈을 효과적으로 방지할 수 있는가?
• RQ4 소스 도메인의 스타일 분포를 넓히는 것이 큰 도메인 이동이 있는 새로운 타겟 도메인에서의 일반화 능력을 어느 정도 향상시키는가?
• RQ5 다양한 데이터셋에서 기존의 FSL 및 CD-FSL 베이스라인과 비교해 볼 때, 제안된 Wave-SAN 방법은 정확도와 강건성 측면에서 어떤가?

주요 결과

• 완전한 Wave-SAN 모델은 두 가지 주요 CD-FSL 벤치마크에서 최신 기술 수준 성능을 달성하였으며, 5-way-1-shot 설정에서 CropDisease 데이터셋에서 기준 GNN 모델보다 정확도가 6.32% 향상되었다.
• 제거 실험 결과, 전체 특성 표현에 직접 스타일 증강을 적용하는 것보다 성분별 증강을 위한 DWT 및 IDWT 사용이 훨씬 효과적임을 확인하였다.
• 자기지도 학습 모듈은 성능에 상당한 기여를 하였으며, 전체 모델은 SSL이 없는 버전보다 평균적으로 1.76% 높은 성능을 보였다.
• t-SNE 시각화 결과, Wave-SAN은 타겟 도메인의 특징 공간에서 클래스 간 거리를 증가시키고 내부 클래스 분산을 감소시켜 분류의 구별 능력을 향상시켰다.
• 이 방법은 ChestX, ISIC, EuroSAT, CropDisease의 네 개 타겟 데이터셋 전반에서 기준 모델(GNN 및 FWT)을 일관되게 향상시켜, 큰 시각적 스타일 이동에 대한 일반화 능력과 강건성을 입증하였다.