[论文解读] Wave-SAN: Wavelet based Style Augmentation Network for Cross-Domain Few-Shot Learning

Yuqian Fu, Yu Xie+3 more|arXiv (Cornell University)|Mar 15, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

本文提出 Wave-SAN，一种基于小波的风格增强网络，用于跨域少样本学习（CD-FSL），通过离散小波变换将图像分解为低频分量（形状/风格）和高频分量（纹理），从而增强模型对视觉风格变化的鲁棒性。该方法在低频分量上应用自适应实例归一化进行风格增强，同时保留纹理信息，并引入自监督学习模块以防止语义漂移。该方法在多个 CD-FSL 基准测试中达到最先进性能，相比基线模型准确率最高提升 6.32%。

ABSTRACT

Previous few-shot learning (FSL) works mostly are limited to natural images of general concepts and categories. These works assume very high visual similarity between the source and target classes. In contrast, the recently proposed cross-domain few-shot learning (CD-FSL) aims at transferring knowledge from general nature images of many labeled examples to novel domain-specific target categories of only a few labeled examples. The key challenge of CD-FSL lies in the huge data shift between source and target domains, which is typically in the form of totally different visual styles. This makes it very nontrivial to directly extend the classical FSL methods to address the CD-FSL task. To this end, this paper studies the problem of CD-FSL by spanning the style distributions of the source dataset. Particularly, wavelet transform is introduced to enable the decomposition of visual representations into low-frequency components such as shape and style and high-frequency components e.g., texture. To make our model robust to visual styles, the source images are augmented by swapping the styles of their low-frequency components with each other. We propose a novel Style Augmentation (StyleAug) module to implement this idea. Furthermore, we present a Self-Supervised Learning (SSL) module to ensure the predictions of style-augmented images are semantically similar to the unchanged ones. This avoids the potential semantic drift problem in exchanging the styles. Extensive experiments on two CD-FSL benchmarks show the effectiveness of our method. Our codes and models will be released.

研究动机与目标

• 为解决跨域少样本学习（CD-FSL）中源域与目标域之间存在显著视觉风格差异的问题，现有 FSL 方法因域差距而失效。
• 通过扩展源域的风格分布来提升模型泛化能力，该方向在以往的 CD-FSL 研究中尚未被充分探索。
• 开发一种无需参数、可逆的数据增强策略，在保持语义内容的同时增加训练过程中的风格多样性。
• 通过引入自监督学习模块，减轻风格迁移带来的语义漂移，确保原始图像与增强图像的预测结果保持语义一致。

提出的方法

• 该方法采用离散小波变换（DWT）和逆离散小波变换（IDWT）将输入图像分解为低频分量（包含形状与风格）和高频分量（包含纹理）。
• 提出一种新型的 StyleAug 模块，通过自适应实例归一化（AdaIN）在两张图像之间交换低频分量，实现在不改变形状或纹理的前提下进行风格增强。
• 高频分量保持不变，以保留对分类至关重要的细粒度纹理细节。
• 自监督学习（SSL）模块确保模型对原始图像与风格增强图像的预测结果在语义上保持一致，从而减少语义漂移。
• 该框架可即插即用，可与现有 FSL 模型（如 GNN 和 FWT）集成，显著提升其在存在显著风格差异的目标域上的性能。

实验结果

研究问题

• RQ1 基于小波的分解能否有效分离风格与形状、纹理，从而实现在少样本学习中的针对性风格增强？
• RQ2 仅对图像的低频分量进行增强，同时保留高频细节，是否能提升跨域少样本学习中对视觉风格变化的鲁棒性？
• RQ3 自监督学习模块能否在无需额外标注数据的情况下，有效防止风格迁移过程中的语义漂移？
• RQ4 扩展源域的风格分布在多大程度上能提升模型在具有显著域偏移的未见目标域上的泛化能力？
• RQ5 在多种数据集上，所提出的 Wave-SAN 方法相较于现有 FSL 与 CD-FSL 基线方法，在准确率与鲁棒性方面表现如何？

主要发现

• 完整版 Wave-SAN 模型在两个主要 CD-FSL 基准测试中达到最先进性能，在 5-way-1-shot 设置下，相比基线 GNN 模型在 CropDisease 数据集上准确率提升 6.32%。
• 消融实验证实，使用 DWT 和 IDWT 对分量进行增强，相比直接在完整特征表示上应用风格增强，效果显著更优。
• 自监督学习模块对性能有显著贡献，完整模型在所有数据集上的平均准确率比无 SSL 的版本高出 1.76%。
• t-SNE 可视化显示，Wave-SAN 在目标域的特征空间中增加了类间距离，同时减少了类内方差，提升了特征的可分性。
• 该方法在所有四个目标数据集（ChestX、ISIC、EuroSAT 和 CropDisease）上均一致提升了基线模型（GNN 和 FWT）的性能，证明了其在大视觉风格差异下的泛化能力与鲁棒性。