[论文解读] Is a Modular Architecture Enough?

Sarthak Mittal, Yoshua Bengio+1 more|arXiv (Cornell University)|Jun 6, 2022

Machine Learning in Materials Science被引用 15

一句话总结

本文通过基于合成规则的数据分布评估模块化神经架构，以检验其泛化能力、专业化程度及分布外性能。研究发现，当底层规则数量较多时，模块化能显著提升性能，但标准模块化系统常因专业化不足和注意力聚焦不佳而表现欠佳，表明仅靠模块化本身不足以实现最优性能，亟需更强的归纳偏置。

ABSTRACT

Inspired from human cognition, machine learning systems are gradually revealing advantages of sparser and more modular architectures. Recent work demonstrates that not only do some modular architectures generalize well, but they also lead to better out-of-distribution generalization, scaling properties, learning speed, and interpretability. A key intuition behind the success of such systems is that the data generating system for most real-world settings is considered to consist of sparsely interacting parts, and endowing models with similar inductive biases will be helpful. However, the field has been lacking in a rigorous quantitative assessment of such systems because these real-world data distributions are complex and unknown. In this work, we provide a thorough assessment of common modular architectures, through the lens of simple and known modular data distributions. We highlight the benefits of modularity and sparsity and reveal insights on the challenges faced while optimizing modular systems. In doing so, we propose evaluation metrics that highlight the benefits of modularity, the regimes in which these benefits are substantial, as well as the sub-optimality of current end-to-end learned modular systems as opposed to their claimed potential.

研究动机与目标

• 在受控的、已知的数据生成分布下，严格评估模块化架构的有效性。
• 将模块化与稀疏性的影响与优化难易度或架构技巧等混淆因素分离。
• 通过新颖且合理的评估指标，量化模块化系统中的专业化程度与崩溃现象。
• 识别模块化宣称的优势与当前端到端学习的模块化系统实际性能之间的差距。

提出的方法

• 基于概率选择的规则设计合成基准任务，以模拟模块化数据生成过程。
• 提出一种框架，通过四种模型类型（单体、模块化、模块化-优化、真实模块化）评估模块化。
• 采用指标量化专业化程度（模块对特定规则的关注程度）与崩溃现象（模块退化为共享行为的程度）。
• 在不同规则数量、序列长度及数据分布偏移（分布内 vs. 分布外）下训练并评估模型。
• 使用具有注意力机制或稀疏连接的RNN与前馈网络，测试不同架构归纳偏置的影响。
• 通过单个标记采样（改变 vs. 相同）探测对分布偏移的鲁棒性。

实验结果

研究问题

• RQ1 在已知的、基于规则的数据分布下，模块化在多大程度上提升了神经网络的泛化能力和专业化程度？
• RQ2 任务中底层规则数量的变化如何影响性能？模块化在何种情况下最具优势？
• RQ3 为何当前的模块化系统尽管在架构上宣称具备优势，却往往无法实现专业化的全部潜力？
• RQ4 不同的归纳偏置（如注意力、稀疏性、路由机制）如何影响模块的专业化与崩溃现象？
• RQ5 哪些指标能够可靠地量化模块化系统中专业化与崩溃的程度？

主要发现

• 当任务中存在大量底层规则时，专业化能带来显著的性能提升；但当仅存在少数规则时，其增益微乎其微。
• 标准模块化系统常因注意力聚焦不佳与专业化能力有限而表现欠佳，表明其在规则特异性计算方面的能力不足。
• 模块化与单体模型之间的性能差距随规则数量的增加而扩大，凸显模块化在复杂任务中的可扩展优势。
• 崩溃——即模块未能实现专业化而转而共享计算——仍是主要的失败模式，尤其在规则数量较少的场景下更为显著。
• 当前端到端学习的模块化系统与理论潜力相比仍显不足，表明需要超越模块化本身的更强归纳偏置。
• 所提出的评估指标能有效区分真正专业化与仅由架构表面特性带来的增益，为未来模块化架构研究提供了可靠的基准。