[논문 리뷰] StyleAdv: Meta Style Adversarial Training for Cross-Domain Few-Shot Learning

Yuqian Fu, Yu Xie외 2명|arXiv (Cornell University)|2023. 02. 18.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 크로스도메인 희소샷 학습(CD-FSL)을 위한 모델에 종속되지 않는 메타학습 방법인 StyleAdv를 제안한다. 이는 소스 도메인 스타일 특징의 기울기 기반 변형을 통해 가상의 및 어려운 스타일을 생성함으로써 도메인 이격에 대한 강건성을 향상시킨다. 점진적인 스타일 적대적 공격(Style-FGSM)을 사용하여 소스 스타일 특징의 기울기를 기반으로 '가상'이자 '어려운' 스타일을 합성함으로써, 다양한 목표 도메인 간 일반화 성능을 향상시키며, ResNet 및 비전 트랜스포머 백본을 사용한 8개 데이터셋에서 새로운 최고 성능을 달성한다.

ABSTRACT

Cross-Domain Few-Shot Learning (CD-FSL) is a recently emerging task that tackles few-shot learning across different domains. It aims at transferring prior knowledge learned on the source dataset to novel target datasets. The CD-FSL task is especially challenged by the huge domain gap between different datasets. Critically, such a domain gap actually comes from the changes of visual styles, and wave-SAN empirically shows that spanning the style distribution of the source data helps alleviate this issue. However, wave-SAN simply swaps styles of two images. Such a vanilla operation makes the generated styles ``real'' and ``easy'', which still fall into the original set of the source styles. Thus, inspired by vanilla adversarial learning, a novel model-agnostic meta Style Adversarial training (StyleAdv) method together with a novel style adversarial attack method is proposed for CD-FSL. Particularly, our style attack method synthesizes both ``virtual'' and ``hard'' adversarial styles for model training. This is achieved by perturbing the original style with the signed style gradients. By continually attacking styles and forcing the model to recognize these challenging adversarial styles, our model is gradually robust to the visual styles, thus boosting the generalization ability for novel target datasets. Besides the typical CNN-based backbone, we also employ our StyleAdv method on large-scale pretrained vision transformer. Extensive experiments conducted on eight various target datasets show the effectiveness of our method. Whether built upon ResNet or ViT, we achieve the new state of the art for CD-FSL. Code is available at https://github.com/lovelyqian/StyleAdv-CDFSL.

연구 동기 및 목표

• 크로스도메인 희소샷 학습(CD-FSL)에서 발생하는 큰 도메인 갭, 특히 소스 도메인과 목표 도메인 간 시각적 스타일 이격으로 인한 과제를 해결하기 위해.
• 기존의 스타일 증강 방법(예: wave-SAN)이 소스 분포 내에서만 '실제'이자 '쉬운' 스타일을 생성하는 데서 비롯되는 한계를 극복하기 위해.
• 모델의 일반화 성능을 향상시키기 위해 '가상'(소스 세트에 존재하지 않음)이자 '어려운'(식별하기 더 어려운) 적대적 스타일을 학습에 활용하기 위해.
• 기존의 FSL 및 CD-FSL 모델을 아키텍처 변경 없이 향상시킬 수 있는 모델에 종속되지 않는 보완적 방법을 개발하기 위해.

제안 방법

• 내부 루프에서 소스 스타일 특징의 기울기 기반 변형을 통해 적대적 스타일을 생성하는 최소최대 학습 프레임워크인 StyleAdv를 제안한다.
• 기본 스타일에 서명된 스타일 기울기를 더하여 원본 스타일에서 '어려운' 및 '가상의' 스타일을 합성하는 새로운 적대적 스타일 공격 방법인 Style-FGSM을 도입한다.
• 특징 블록을 거쳐 적대적 신호를 누적시키는 점진적인 스타일 합성 전략을 활용하여 학습을 안정화하고 큰 특징 이탈을 방지한다.
• 후보 풀에서 무작위 변형 비율을 샘플링하는 전략을 통해 생성된 적대적 스타일의 다양성을 향상시킨다.
• 에피소드 기반 학습에서 깨끗한 스타일과 적대적으로 변형된 스타일을 모두 인식하도록 학습하는 메타학습 설정에 적용한다.
• CNN 기반(예: ResNet) 및 비전 트랜스포머(ViT) 백본 모두를 지원하여 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 실제 스타일 증강을 넘어서 적대적 스타일 생성이 크로스도메인 희소샷 학습에서 일반화 성능 향상에 기여할 수 있는가?
• RQ2 '가상'이자 '어려운' 적대적 스타일이 '실제'이자 '쉬운' 스타일에 비해 모델의 강건성에서 어떤가?
• RQ3 이미지나 특징이 아닌 스타일 특징을 공격함으로써 CD-FSL에서 더 나은 도메인 일반화가 이루어지는가?
• RQ4 StyleAdv와 같이 모델에 종속되지 않는 방법이 ResNet 및 ViT와 같은 다양한 백본과 효과적으로 조합될 수 있는가?
• RQ5 점진적이고 비율 무작위화된 스타일 변형이 모델 성능과 학습 안정성에 어떤 영향을 미치는가?

주요 결과

• StyleAdv는 1-shot 및 5-shot 설정에서 모두 8개의 다양한 목표 도메인 데이터셋에서 새로운 최고 성능을 달성하며, 기존의 CD-FSL 방법들을 능가한다.
• 제안된 Style-FGSM 공격 방법은 원래 소스 스타일 분포를 초월하는 '어려운' 및 '가상의' 스타일을 성공적으로 생성하였다.
• 평균적으로 StyleAdv는 모든 데이터셋에서 5-way 1-shot 정확도를 기반 GNN 모델보다 3.77% 향상시켰다(59.83%에서 63.77%로).
• 이미지나 특징을 공격하는 것보다 스타일을 공격함으로써 더 높은 성능를 달성하여, 스타일 수준의 변형이 도메인 갭 완화에 더 효과적임을 시사한다.
• 이 방법은 모델에 종속되지 않으며, ResNet 및 비전 트랜스포머 백본 모두에 적용했을 때 일관되게 성능 향상을 이룬다.
• MixStyle, AdvStyle, DSU와 같은 다른 스타일 증강 기반 모델에 비해 Style-FGSM이 더 어려운 스타일과 다양한 스타일을 생성하는 데 뛰어나, 그 우월성을 입증한다.