[论文解读] Improving the Universality and Learnability of Neural Programmer-Interpreters with Combinator Abstraction

Xiao Da, Jo-Yu Liao+1 more|arXiv (Cornell University)|Feb 15, 2018

Ferroelectric and Negative Capacitance Devices被引用 9

一句话总结

本文提出组合神经程序员-解释器（CNPI），一种新型NPI架构，通过集成一组最小的四个组合子来增强通用性与可学习性。通过将程序复杂性转移至组合子，CNPI减轻了核心控制器的负担，实现了对可组合程序的通用执行，并支持基于课程设计的监督学习与策略梯度强化学习。

ABSTRACT

To overcome the limitations of Neural Programmer-Interpreters (NPI) in its universality and learnability, we propose the incorporation of combinator abstraction into neural programing and a new NPI architecture to support this abstraction, which we call Combinatory Neural Programmer-Interpreter (CNPI). Combinator abstraction dramatically reduces the number and complexity of programs that need to be interpreted by the core controller of CNPI, while still allowing the CNPI to represent and interpret arbitrary complex programs by the collaboration of the core with the other components. We propose a small set of four combinators to capture the most pervasive programming patterns. Due to the finiteness and simplicity of this combinator set and the offloading of some burden of interpretation from the core, we are able construct a CNPI that is universal with respect to the set of all combinatorizable programs, which is adequate for solving most algorithmic tasks. Moreover, besides supervised training on execution traces, CNPI can be trained by policy gradient reinforcement learning with appropriately designed curricula.

研究动机与目标

• 解决现有神经程序员-解释器（NPI）在处理复杂程序时通用性有限且可学习性差的问题。
• 通过引入形式化的组合子抽象层，减少核心控制器必须解释的程序数量与复杂度。
• 设计一组最小且有限的组合子，以捕捉常见编程模式，实现可扩展的程序表示。
• 在所有可组合程序的集合上实现通用性，覆盖大多数算法任务。
• 通过监督学习与基于课程的优化实现训练。

提出的方法

• 提出一种新型NPI架构——组合神经程序员-解释器（CNPI），将核心控制与基于组合子的程序构建相分离。
• 定义一组最小的四个组合子，以表示普遍存在的编程模式，减少核心控制器对低层程序结构的解释需求。
• 将复杂程序分解为这些组合子的复合形式，将解释复杂性从核心控制器中卸载。
• 通过将核心与组合子层组合，构建针对可组合程序集合的通用解释器。
• 支持基于执行轨迹的监督学习与基于课程设计奖励塑造的策略梯度强化学习。
• 确保核心控制器学会正确组合与调用组合子，从而在多样化算法任务中实现泛化。

实验结果

研究问题

• RQ1 一组最小的组合子能否捕捉神经程序解释器中实现通用程序执行所必需的关键编程模式？
• RQ2 将程序解释复杂性卸载至组合子是否能提升NPI中核心控制器的可学习性与可扩展性？
• RQ3 通过依赖组合子抽象，CNPI能否在广泛类别的算法任务上实现通用性？
• RQ4 基于课程设计，是否可行通过监督学习与强化学习有效训练CNPI？
• RQ5 组合子的集成如何影响神经程序解释器的表达能力与泛化能力？

主要发现

• 所提出的CNPI架构在所有可组合程序的集合上实现了通用性，足以解决大多数算法任务。
• 使用有限且简单的四个组合子显著降低了核心控制器必须解释的程序复杂性与数量。
• CNPI支持基于执行轨迹的监督学习与基于课程的策略梯度强化学习。
• 组合子抽象通过解耦高层结构与低层控制，实现了可扩展且可泛化的程序学习。
• 该架构在保持强表达能力的同时，相比标准NPI，提升了训练稳定性与可解释性。
• 组合子的集成使核心控制器能够专注于组合与控制，从而提升整体系统性能与泛化能力。