[论文解读] Divide and Conquer with Neural Networks

Alex Nowak, Joan Bruna|arXiv (Cornell University)|Apr 24, 2017

Machine Learning and Algorithms参考文献 12被引用 2

一句话总结

本文提出了一种可微分的、递归神经架构，通过模仿分治范式来学习算法任务（如排序和凸包计算）。它使用尺度不变的可学习分割与合并算子，动态构建计算图，仅通过输入-输出对即可实现端到端训练，当模型复杂度与任务固有复杂度相匹配时，可实现高精度和更优的泛化能力。

ABSTRACT

We consider the learning of algorithmic tasks by mere observation of input-output pairs. Rather than studying this as a black-box discrete regression problem with no assumption whatsoever on the input-output mapping, we concentrate on tasks that are amenable to the principle of divide and conquer, and study what are its implications in terms of learning. This principle creates a powerful inductive bias that we exploit with neural architectures that are defined recursively, by learning two scale-invariant atomic operators: how to split a given input into two disjoint sets, and how to merge two partially solved tasks into a larger partial solution. The scale invariance creates parameter sharing across all stages of the architecture, and the dynamic design creates architectures whose complexity can be tuned in a differentiable manner. As a result, our model is trained by backpropagation not only to minimize the errors at the output, but also to do so as efficiently as possible, by enforcing shallower computation graphs. Moreover, thanks to the scale invariance, the model can be trained only with only input/output pairs, removing the need to know oracle intermediate split and merge decisions. As it turns out, accuracy and complexity are not independent qualities, and we verify empirically that when the learnt complexity matches the underlying complexity of the task, this results in higher accuracy and better generalization in two paradigmatic problems: sorting and finding planar convex hulls.

研究动机与目标

• 使神经网络仅通过观察输入-输出对即可学习算法任务，而无需访问中间的Oracle步骤。
• 利用分治原则作为强归纳偏置，指导架构学习并提升泛化能力。
• 设计一种可微分的、递归神经架构，使其在训练过程中可动态调整复杂度。
• 通过强制实现尺度不变性，消除对中间分割与合并决策的监督需求。
• 探究模型复杂度与任务复杂度之间的相互作用，以确定学习精度与泛化能力。

提出的方法

• 该模型使用两个尺度不变的、可学习的原子算子：一个用于将输入递归地分割为两个互不相交的集合，另一个用于将两个部分求解的子问题合并为更大的解。
• 该架构是递归定义的，由于尺度不变性，所有层级之间共享参数，从而实现对不同输入尺寸的高效学习。
• 通过反向传播进行训练，以最小化输出误差，同时偏好更浅的计算图，从而促进高效且紧凑的解决方案。
• 由于尺度不变性，无需对中间分割与合并进行显式监督，从而实现仅基于输入-输出对的训练。
• 递归结构使模型能够以可微分的方式自适应调整其深度与复杂度，从而有效学习任务的最优分解方式。

实验结果

研究问题

• RQ1 神经网络能否仅通过输入-输出对且无中间监督，学习到如排序和凸包计算等复杂算法任务？
• RQ2 强制实施分治归纳偏置如何提升神经算法学习中的泛化能力与精度？
• RQ3 当模型学习到的复杂度与任务固有的复杂度相匹配时，其性能提升的幅度在多大程度上取决于这种匹配？
• RQ4 可微分的递归架构在保持训练稳定性和效率的前提下，能否动态调整其计算图深度？
• RQ5 分割与合并算子的尺度不变性是否能消除端到端训练中对Oracle中间决策的需求？

主要发现

• 当模型学习到的复杂度与任务底层复杂度相匹配时，其精度更高且泛化能力更优。
• 使用尺度不变的、可学习的分割与合并算子，可实现仅基于输入-输出对的训练，无需中间监督。
• 递归的、可微分的架构使模型在反向传播过程中偏好更浅的结构，从而学习到高效的计算图。
• 在排序和二维凸包任务上的实证结果表明，复杂度与精度密切相关，当模型深度与任务难度相匹配时性能达到最优。
• 动态架构设计支持所有阶段的参数共享，提升了样本效率，并增强了对不同输入尺寸的泛化能力。