[论文解读] Limits of End-to-End Learning

Tobias Glasmachers|arXiv (Cornell University)|Apr 26, 2017

Neural Networks and Applications参考文献 26被引用 50

一句话总结

论文主张端到端学习（e2e）在网络变得更模块化时存在局限性，通过实验展示e2e训练失败或效率低下，并提出以结构化、面向模块的训练作为所需的替代方案。

ABSTRACT

End-to-end learning refers to training a possibly complex learning system by applying gradient-based learning to the system as a whole. End-to-end learning system is specifically designed so that all modules are differentiable. In effect, not only a central learning machine, but also all "peripheral" modules like representation learning and memory formation are covered by a holistic learning process. The power of end-to-end learning has been demonstrated on many tasks, like playing a whole array of Atari video games with a single architecture. While pushing for solutions to more challenging tasks, network architectures keep growing more and more complex. In this paper we ask the question whether and to what extent end-to-end learning is a future-proof technique in the sense of scaling to complex and diverse data processing architectures. We point out potential inefficiencies, and we argue in particular that end-to-end learning does not make optimal use of the modular design of present neural networks. Our surprisingly simple experiments demonstrate these inefficiencies, up to the complete breakdown of learning.

研究动机与目标

• 随着网络在模块化复杂性上增长，解释质疑端到端学习可扩展性的动机。
• 评估模块之间的耦合如何在e2e设置中阻碍学习。
• 通过实验展示e2e训练在多模块系统中可能呈指数级更难或失败。
• 提出训练应尊重网络结构，考虑模块化、分阶段的训练方法。

提出的方法

• 本文对端到端学习进行概念性批评，并概述了两种实验设置，以对模块化网络上的e2e训练进行压力测试。
• 实验1 使用可扩展的小模块堆叠来展示训练难度随堆叠模块数量的增加大致呈指数级增长。
• 实验2 在一个类似 RoboRally 的网格世界中使用一个规划任务，构建一个两模块系统，其中相互依赖性阻碍联合学习。
• 对比端到端训练与模块化、分阶段的训练方法的训练性能。
• 作者分析梯度信号如何在嵌套模块中传播，以及非平凡的模块间耦合如何降低学习效果。

实验结果

研究问题

• RQ1 当网络由多个相互作用的模块组成时，端到端学习是否高效可扩展？
• RQ2 对于中等复杂的模块化架构，端到端训练会崩溃吗？
• RQ3 分别训练模块（或按结构化顺序）是否能够克服e2e学习的观察到的失败？
• RQ4 在设计大型、多组件学习系统时的实际影响是什么？

主要发现

• 端到端学习在网络复杂性增长时可能变得低效，训练成本随堆叠模块数量呈指数级增长。
• 端到端学习在多模块架构中可能完全失败，使所有模块接近初始权重。
• 一次训练一个模块，或按照与网络设计对齐的结构化顺序训练，可以避免或缓解e2e训练中观察到的崩溃。
• 即使是较小、定义清晰的模块，当其他模块已被训练并冻结时也能可靠学习，凸显了分解训练策略的好处。
• 在一个确定性环境中的基于规划的两模块系统展示了模块之间的相互依赖性，如果不进行阶段性训练，可能阻碍联合学习。