[论文解读] FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization

Kecheng Zheng, Yang Cao+3 more|arXiv (Cornell University)|Mar 24, 2022

Neural Networks and Applications被引用 5

一句话总结

该论文提出FAMLP，一种用于域泛化的频率感知MLP架构，通过应用可学习的傅里叶滤波器来抑制特定域的高频特征，并通过低秩增强模块保留关键的低频分量，从而提升域不变表征。该方法在三个基准测试中实现了最先进性能，相较于先前方法在准确率上提升了3%至9%，并在异质数据设置下展现出更强的鲁棒性和泛化能力。

ABSTRACT

MLP-like models built entirely upon multi-layer perceptrons have recently been revisited, exhibiting the comparable performance with transformers. It is one of most promising architectures due to the excellent trade-off between network capability and efficiency in the large-scale recognition tasks. However, its generalization performance to heterogeneous tasks is inferior to other architectures (e.g., CNNs and transformers) due to the extensive retention of domain information. To address this problem, we propose a novel frequency-aware MLP architecture, in which the domain-specific features are filtered out in the transformed frequency domain, augmenting the invariant descriptor for label prediction. Specifically, we design an adaptive Fourier filter layer, in which a learnable frequency filter is utilized to adjust the amplitude distribution by optimizing both the real and imaginary parts. A low-rank enhancement module is further proposed to rectify the filtered features by adding the low-frequency components from SVD decomposition. Finally, a momentum update strategy is utilized to stabilize the optimization to fluctuation of model parameters and inputs by the output distillation with weighted historical states. To our best knowledge, we are the first to propose a MLP-like backbone for domain generalization. Extensive experiments on three benchmarks demonstrate significant generalization performance, outperforming the state-of-the-art methods by a margin of 3%, 4% and 9%, respectively.

研究动机与目标

• 为解决MLP类模型在异质域偏移场景下泛化能力差的问题，其中特定域特征会阻碍迁移性能。
• 克服固定频率滤波的局限性，引入可学习、自适应的频率滤波器，使其能够根据输入域特征进行调整。
• 在滤波后通过基于SVD分解的低秩增强模块，保留关键的低频特征。
• 通过基于动量的蒸馏策略，利用加权历史模型状态，稳定训练并提升对参数和输入波动的鲁棒性。
• 建立一种强大且高效的基于MLP的主干网络用于域泛化，此前该领域主要由CNN和Transformer主导。

提出的方法

• FAMLP框架在每个MLP块之前集成一个自适应傅里叶滤波层，通过快速傅里叶变换（FFT）将空间特征转换到频域。
• 对频率特征的实部和虚部应用可学习的频率滤波器，实现对携带特定域信息的高频分量的域自适应抑制。
• 低秩增强（LRE）模块通过融合从特征图SVD分解中提取的主要低频分量，重建滤波后的特征。
• 采用动量更新策略，从历史模型状态的加权平均中蒸馏出不变特征，形成教师网络，从而稳定训练并提升鲁棒性。
• 整个架构通过交叉熵损失和知识蒸馏损失进行端到端训练，后者使学生模型的预测与蒸馏教师输出对齐。
• 该方法可端到端训练，且设计为与标准MLP块兼容，支持即插即用，可无缝集成到现有MLP类主干网络中。

实验结果

研究问题

• RQ1 可学习的频率滤波器是否能有效抑制MLP类模型中的特定域高频分量，从而提升域泛化能力？
• RQ2 在域偏移背景下，低秩增强模块如何改善频率滤波后的特征完整性？
• RQ3 基于动量的蒸馏策略在多大程度上能稳定训练，并提升对输入和参数波动的鲁棒性？
• RQ4 MLP类架构是否能在域泛化任务中实现最先进性能，与CNN和Transformer相媲美甚至超越？
• RQ5 所提方法对超参数选择的敏感度如何，特别是动量和蒸馏组件中的超参数？

主要发现

• FAMLP在三个域泛化基准上均达到最先进性能，分别在PACS、Office-Home和Digits-Domain上超越先前方法3%、4%和9%。
• 自适应傅里叶滤波器显著减少了各域中的高频分量，域内呈现一致的抑制模式，域间呈现明显差异响应，证明了其域感知滤波能力。
• 低秩增强模块有效缓解了对低频特征的过度抑制，保留了判别性信息，提升了特征质量。
• 动量更新策略稳定了优化过程，降低了对输入和参数波动的敏感性，显著提升了性能的一致性。
• 该方法对超参数变化具有强鲁棒性，在λmd、τmd和η的不同设置下仅表现出微小的性能波动，表明其具备优异的泛化能力和稳定性。
• 消融实验证实，可学习频率滤波器与低秩增强模块均独立且协同贡献，平均分别带来1.32%和0.42%的性能增益。