[论文解读] Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks

Avi Schwarzschild, Eitan Borgnia+5 more|arXiv (Cornell University)|Jun 8, 2021

Machine Learning and Data Classification被引用 9

一句话总结

该论文表明，通过在简单推理问题实例（如前缀和、迷宫和国际象棋）上训练循环神经网络，模型可通过在推理时增加循环步数，推广到显著更难的问题，从而通过迭代计算有效模拟算法推理。其关键贡献在于证明了此类模型能够学习到可扩展的、类似算法的行为，无需重新训练或改变网络结构，即可超越训练数据分布进行泛化。

ABSTRACT

Deep neural networks are powerful machines for visual pattern recognition, but reasoning tasks that are easy for humans may still be difficult for neural models. Humans possess the ability to extrapolate reasoning strategies learned on simple problems to solve harder examples, often by thinking for longer. For example, a person who has learned to solve small mazes can easily extend the very same search techniques to solve much larger mazes by spending more time. In computers, this behavior is often achieved through the use of algorithms, which scale to arbitrarily hard problem instances at the cost of more computation. In contrast, the sequential computing budget of feed-forward neural networks is limited by their depth, and networks trained on simple problems have no way of extending their reasoning to accommodate harder problems. In this work, we show that recurrent networks trained to solve simple problems with few recurrent steps can indeed solve much more complex problems simply by performing additional recurrences during inference. We demonstrate this algorithmic behavior of recurrent networks on prefix sum computation, mazes, and chess. In all three domains, networks trained on simple problem instances are able to extend their reasoning abilities at test time simply by "thinking for longer."

研究动机与目标

• 探究循环神经网络是否能够学习到可泛化到训练数据之外更难问题实例的算法推理能力。
• 探索在推理时增加循环步数是否能使模型解决训练过程中未见过的更复杂问题。
• 确定循环架构是否能在传统上由手工设计算法解决的推理任务中实现逻辑外推。
• 比较循环模型与固定深度前馈网络在分布外泛化性能上的差异。
• 可视化并分析循环网络在推理过程中学习到的迭代推理过程。

提出的方法

• 使用固定数量的循环步数，在小规模、简单的问题实例上训练循环网络。
• 通过在推理时增加循环步数，将同一模型测试于更难的问题实例。
• 使用标准循环架构（如GRUs或LSTMs），并在循环步之间共享权重，以实现可扩展的推理能力。
• 在三个领域评估性能：前缀和计算、迷宫求解和国际象棋谜题求解。
• 通过可视化各循环步的内部激活和注意力模式，解释模型学习到的推理过程。
• 将泛化性能与具有相同深度的前馈网络进行比较，后者缺乏迭代推理能力。

实验结果

研究问题

• RQ1 通过在推理时增加循环步数，是否可以使在简单问题上训练的循环网络泛化到更难的问题？
• RQ2 在测试时延长循环步数是否能提升模型在分布外、更难问题实例上的性能？
• RQ3 当解决超出训练分布的问题时，循环网络的性能与前馈网络相比如何？
• RQ4 循环网络是否学习到类似算法的行为，类似于经典迭代算法（如BFS、归约树）？
• RQ5 循环网络的内部动态是否可解释为工作记忆中刻意的、逐步的推理过程？

主要发现

• 在小规模迷宫上训练的循环网络，当在测试时增加循环步数时，可泛化到更大规模的迷宫，性能优于固定深度的前馈网络。
• 在小规模前缀和问题上训练的模型，通过增加推理时的迭代次数，可泛化到任意大的输入，且在足够多的循环步数下可达到精确结果。
• 在低等级国际象棋谜题上训练的模型，通过增加推理时的循环步数，可在测试时解决更高等级的谜题，表现出逻辑外推能力。
• 性能随循环步数的增加而单调提升，且无需重新训练或改变网络结构，表明具备可扩展的推理能力。
• 可视化结果显示，网络的内部激活随时间逐步演化：首先识别关键元素（如国际象棋中的车），随后确定最优走法。
• 该行为具有循环特异性：具有相同深度的前馈网络无法泛化到更难的问题，凸显了迭代计算的关键作用。