[论文解读] ALOFT: A Lightweight MLP-like Architecture with Dynamic Low-frequency Transform for Domain Generalization

Jintao Guo, Na Wang+2 more|arXiv (Cornell University)|Mar 21, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出 ALOFT，一种轻量级 MLP 类架构，采用动态低频变换实现领域泛化，通过抑制与领域相关的纹理特征同时保留全局结构表征，提升模型鲁棒性。通过利用频域滤波与可学习的低频谱扰动机制，ALOFT 在参数量远少于现有基于 CNN 的方法的前提下，实现了最先进性能。

ABSTRACT

Domain generalization (DG) aims to learn a model that generalizes well to unseen target domains utilizing multiple source domains without re-training. Most existing DG works are based on convolutional neural networks (CNNs). However, the local operation of the convolution kernel makes the model focus too much on local representations (e.g., texture), which inherently causes the model more prone to overfit to the source domains and hampers its generalization ability. Recently, several MLP-based methods have achieved promising results in supervised learning tasks by learning global interactions among different patches of the image. Inspired by this, in this paper, we first analyze the difference between CNN and MLP methods in DG and find that MLP methods exhibit a better generalization ability because they can better capture the global representations (e.g., structure) than CNN methods. Then, based on a recent lightweight MLP method, we obtain a strong baseline that outperforms most state-of-the-art CNN-based methods. The baseline can learn global structure representations with a filter to suppress structure irrelevant information in the frequency space. Moreover, we propose a dynAmic LOw-Frequency spectrum Transform (ALOFT) that can perturb local texture features while preserving global structure features, thus enabling the filter to remove structure-irrelevant information sufficiently. Extensive experiments on four benchmarks have demonstrated that our method can achieve great performance improvement with a small number of parameters compared to SOTA CNN-based DG methods. Our code is available at https://github.com/lingeringlight/ALOFT/.

研究动机与目标

• 探究 MLP 与 CNN 架构在领域泛化任务中的性能差距。
• 解决 CNN 中固有的纹理偏差问题，该问题限制了其在未见领域中的泛化能力。
• 开发一种轻量级、参数高效的架构，以增强全局结构表征能力，同时抑制与领域相关的纹理特征。
• 设计一种动态低频谱变换，模拟训练过程中未见的领域偏移。
• 在小型高效模型下实现领域泛化任务的最先进性能。

提出的方法

• 该方法基于轻量级 MLP 骨干网络（GFNet），通过跨图像块的自注意力机制学习全局图像表征。
• 在频域引入可学习滤波器，以抑制与结构无关的、领域特定的纹理信息。
• 提出一种新颖的动态低频谱变换（ALOFT），通过从估计分布中重采样，扰动低频分量，模拟未见的领域偏移。
• 利用高斯分布建模低频分量，生成多样且真实的扰动，同时保持全局结构。
• 在训练过程中应用频域滤波与动态谱增强，以提升领域不变特征学习能力。
• 采用标准交叉熵损失端到端训练，数据增强使用 0.5 的掩码比率。

实验结果

研究问题

• RQ1 MLP 架构与 CNN 在跨未见领域泛化能力方面有何差异？
• RQ2 为何 MLP 模型在领域泛化任务中相比 CNN 展现出更优的泛化性能？
• RQ3 频域滤波能否有效抑制与领域相关的纹理特征，同时保留全局结构？
• RQ4 动态低频谱扰动能否提升对领域偏移的鲁棒性？
• RQ5 轻量级 MLP 架构能否以更少参数超越最先进基于 CNN 的领域泛化方法？

主要发现

• ALOFT 在 PACS 基准上使用 GFNet 骨干网络实现了 91.58% 的平均准确率，优于最先进基于 CNN 的方法。
• 该方法在所有领域（艺术、卡通、素描、真实世界）中均实现泛化性能提升，尤其在素描和艺术领域表现显著。
• 使用高斯分布生成低频谱噪声时性能最佳，优于均匀分布与随机噪声分布。
• 与图像级（Mixup、CutMix）和特征级（MixStyle、DSU）增强方法相比，动态低频谱变换（ALOFT）显著提升了模型泛化能力。
• 即使在较小的掩码比率（0.5）下，模型仍保持强性能，表明其数据增强有效且不易过拟合。
• 频域分析表明，MLP 架构更能捕捉全局结构，这有助于其在领域泛化任务中实现更优泛化性能。