[论文解读] DynaMixer: A Vision MLP Architecture with Dynamic Mixing

Ziyu Wang, Wenhao Jiang+4 more|arXiv (Cornell University)|Jan 28, 2022

Advanced Neural Network Applications被引用 14

一句话总结

DynaMixer 提出了一种视觉 MLP 架构，通过根据输入内容动态生成混合矩阵来实现标记融合，结合降维与多段融合以提升效率和鲁棒性。该模型在 ImageNet-1K 上以 97M 参数达到 84.3% 的 top-1 准确率，仅使用 26M 参数时也达到 82.7%，优于现有的基于 MLP 的模型。

ABSTRACT

Recently, MLP-like vision models have achieved promising performances on mainstream visual recognition tasks. In contrast with vision transformers and CNNs, the success of MLP-like models shows that simple information fusion operations among tokens and channels can yield a good representation power for deep recognition models. However, existing MLP-like models fuse tokens through static fusion operations, lacking adaptability to the contents of the tokens to be mixed. Thus, customary information fusion procedures are not effective enough. To this end, this paper presents an efficient MLP-like network architecture, dubbed DynaMixer, resorting to dynamic information fusion. Critically, we propose a procedure, on which the DynaMixer model relies, to dynamically generate mixing matrices by leveraging the contents of all the tokens to be mixed. To reduce the time complexity and improve the robustness, a dimensionality reduction technique and a multi-segment fusion mechanism are adopted. Our proposed DynaMixer model (97M parameters) achieves 84.3\% top-1 accuracy on the ImageNet-1K dataset without extra training data, performing favorably against the state-of-the-art vision MLP models. When the number of parameters is reduced to 26M, it still achieves 82.7\% top-1 accuracy, surpassing the existing MLP-like models with a similar capacity. The code is available at \url{https://github.com/ziyuwwang/DynaMixer}.

研究动机与目标

• 为解决现有基于 MLP 的视觉模型中静态混合矩阵的局限性，即缺乏对输入内容的适应能力。
• 通过实现动态、内容感知的图像标记间信息融合，提升视觉识别中的表征能力。
• 通过在混合过程中引入降维与多段融合，降低计算成本并增强鲁棒性。
• 在不使用额外训练数据的前提下，实现基于 MLP 的模型在 ImageNet-1K 上的 SOTA 性能。
• 通过消融研究与下游任务的迁移学习，验证动态混合的有效性。

提出的方法

• DynaMixer 通过内容感知机制动态生成混合矩阵，利用所有待混合标记的特征进行计算。
• 通过线性投影层降低输入特征的维度，以降低计算成本，实验表明即使在 d=1 时仍具有效性。
• 标记混合分别按行和列独立进行，每个段独立处理，以提升鲁棒性。
• 最终表征为行混合、列混合与通道混合组件的加权和，通过可学习重加权机制实现融合。
• 模型采用多段融合机制，在动态混合过程中提升鲁棒性与效率。
• 探索行与列混合操作之间的参数共享，以在最小化精度损失的前提下减小模型规模。

实验结果

研究问题

• RQ1 能够根据输入内容自适应的动态混合矩阵是否可提升基于 MLP 的视觉模型性能？
• RQ2 在混合机制中，特征维度可降低至何种程度而不影响性能？
• RQ3 多段融合是否能增强标记混合过程中的鲁棒性与效率？
• RQ4 在准确率与参数效率方面，DynaMixer 与当前 SOTA 的基于 MLP 的模型相比表现如何？
• RQ5 各组件（行混合、列混合、通道混合、重加权）对最终性能的贡献分别是什么？

主要发现

• DynaMixer 在 ImageNet-1K 上以 97M 参数达到 84.3% 的 top-1 准确率，创下基于 MLP 模型的新 SOTA 记录。
• 仅使用 26M 参数时，DynaMixer 达到 82.7% 的 top-1 准确率，优于其他同规模的 MLP 类模型。
• 将特征维度降低至 d=1 时，仍可达到 82.4% 的 top-1 准确率，表明低维投影足以保留有效混合所需的信息。
• 消融研究证实，所有组件——行混合、列混合、通道混合与重加权——均不可或缺，任一组件的移除均导致性能显著下降。
• 通过在行与列混合操作间共享参数，模型规模缩减至 23M 参数，仅造成 0.5% 的准确率下降，同时保持了优异性能。
• 在下游 CIFAR-10 与 CIFAR-100 数据集上，DynaMixer-S 分别取得 98.2% 与 88.6% 的 top-1 准确率，优于同规模的 ViP 与 ViT 模型。