[论文解读] Routing Networks and the Challenges of Modular and Compositional Computation

Clemens Rosenbaum, Ignacio Cases+2 more|arXiv (Cornell University)|Apr 29, 2019

Multimodal Machine Learning Applications参考文献 77被引用 39

一句话总结

本文分析路由网络，一种模块化和组合式学习框架，聚焦在学习模块及其组合策略时出现的训练挑战。

ABSTRACT

Compositionality is a key strategy for addressing combinatorial complexity and the curse of dimensionality. Recent work has shown that compositional solutions can be learned and offer substantial gains across a variety of domains, including multi-task learning, language modeling, visual question answering, machine comprehension, and others. However, such models present unique challenges during training when both the module parameters and their composition must be learned jointly. In this paper, we identify several of these issues and analyze their underlying causes. Our discussion focuses on routing networks, a general approach to this problem, and examines empirically the interplay of these challenges and a variety of design decisions. In particular, we consider the effect of how the algorithm decides on module composition, how the algorithm updates the modules, and if the algorithm uses regularization.

研究动机与目标

• 将模块化和组合式计算作为解决组合复杂性和维度问题的方案进行动机阐述。
• 识别并明确路由网络特有的关键训练挑战。
• 分析模块组合、模块更新和正则化如何影响学习。
• 提供关于路由设计的经验性见解，包括训练策略和体系结构。

提出的方法

• 将路由网络描述为一种通用范式，联动优化模块及其组合策略。
• 回顾路由的训练策略，重点关注强化学习和重参数化方法。
• 分析优化方法和路由器体系结构等设计决策。
• 实证比較不同选择如何影响训练稳定性、崩溃和过拟合。
• 讨论缺乏统一的形式框架，并将路由与共代理(Coagent)和 Meta-MDP 形式相关联。

实验结果

研究问题

• RQ1 在同时学习模块组件及其路由策略时，核心训练挑战是什么？
• RQ2 训练稳定性、模块崩溃和过拟合等问题在路由网络中如何表现？
• RQ3 路由器训练和体系结构中的哪些设计选择会影响这些挑战？
• RQ4 强化学习和重参数化是否能为路由决策提供有原则的训练策略？
• RQ5 哪些理论框架可以更好地形式化模块化与组合学习？

主要发现

• 路由网络因模块和路由策略的同时更新而带来非平稳性。
• 当路由器过度使用某些模块，导致多样性和性能受限时，会发生模块崩溃。
• 过拟合可能会被路由器创建高度局部、专门化的解决方案所加剧。
• 缺乏统一的联合训练路由器和模块的形式框架，从而使收敛性保证变得复杂。
• 正则化、课程化策略和基于元信息的路由可以缓解一些不稳定性和崩溃。
• 经验分析突出了路由决策中探索、迁移和干扰之间的权衡。