[论文解读] How to transfer algorithmic reasoning knowledge to learn new algorithms?

Louis-Pascal Xhonneux, Andreea-Ioana Deac+2 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Graph Neural Networks被引用 5

一句话总结

本文研究如何将带有执行轨迹的图算法中的算法推理知识迁移至无此类监督的相似算法。提出在源算法与目标算法之间共享模型权重的多任务学习方法，实验证明该方法显著提升了系统泛化能力——优于标准迁移学习技术，后者因算法任务间权重空间错位而失效。

ABSTRACT

Learning to execute algorithms is a fundamental problem that has been widely studied. Prior work~\cite{veli19neural} has shown that to enable systematic generalisation on graph algorithms it is critical to have access to the intermediate steps of the program/algorithm. In many reasoning tasks, where algorithmic-style reasoning is important, we only have access to the input and output examples. Thus, inspired by the success of pre-training on similar tasks or data in Natural Language Processing (NLP) and Computer Vision, we set out to study how we can transfer algorithmic reasoning knowledge. Specifically, we investigate how we can use algorithms for which we have access to the execution trace to learn to solve similar tasks for which we do not. We investigate two major classes of graph algorithms, parallel algorithms such as breadth-first search and Bellman-Ford and sequential greedy algorithms such as Prim and Dijkstra. Due to the fundamental differences between algorithmic reasoning knowledge and feature extractors such as used in Computer Vision or NLP, we hypothesise that standard transfer techniques will not be sufficient to achieve systematic generalisation. To investigate this empirically we create a dataset including 9 algorithms and 3 different graph types. We validate this empirically and show how instead multi-task learning can be used to achieve the transfer of algorithmic reasoning knowledge.

研究动机与目标

• 解决在缺乏中间执行步骤的情况下，算法推理中的系统泛化挑战。
• 探究自然语言处理与计算机视觉领域中标准迁移学习技术是否能有效实现图算法间算法推理知识的迁移。
• 评估多任务学习是否可作为比迁移学习更有效的归纳偏置，用于从输入输出对中学习新算法。
• 在具有多种算法类型与图结构的静态图上，建立算法推理迁移的基准测试集。

提出的方法

• 构建一个新的基准数据集，涵盖9种图算法，涉及3种图类型，包括并行算法（如BFS、Bellman-Ford）与顺序贪心算法（如Prim、Dijkstra）。
• 使用图神经网络（GNNs），并引入增强型、更具表达力的编码器，以支持复杂任务下的算法对齐。
• 通过多任务学习，在源算法（带执行轨迹）与目标算法（无轨迹）上联合训练共享模型，强制任务间共享权重。
• 采用课程学习策略，在目标算法无轨迹时，采样最可靠的执行轨迹用于训练。
• 将多任务学习与标准迁移学习（微调与权重冻结）进行对比，评估其在分布内与分布外泛化性能。
• 将算法对齐作为核心设计原则，确保模型子结构能有意义地映射至算法子步骤，以提升泛化能力。

实验结果

研究问题

• RQ1 标准迁移学习技术（如微调、权重冻结）能否有效将带执行轨迹的源算法中的算法推理知识迁移至无此类监督的目标算法？
• RQ2 与迁移学习或单任务训练相比，源算法与目标算法间共享模型权重的多任务学习是否能提升系统泛化能力？
• RQ3 当缺乏中间监督时，GNN的架构表达能力（如NE与NE++）如何影响系统泛化能力？
• RQ4 算法结构的相似性（如Prim与Dijkstra中的贪心选择）在零样本迁移推理任务中，能否作为有效的归纳偏置？
• RQ5 缺乏执行轨迹如何影响学习的稳定性和性能？轨迹采样能否提升训练可靠性？

主要发现

• 标准迁移学习技术（如微调与权重冻结）即使在源算法与目标算法结构相似时，也无法提升系统泛化能力。
• 多任务学习显著提升了无执行轨迹的目标算法的系统泛化能力，尤其在更具挑战性的顺序推理领域（如Dijkstra、Prim）。
• 即使模型容量有限，多任务学习也优于单任务训练与迁移学习，表明其对架构约束具有鲁棒性。
• 多任务学习的成功归因于共享优化过程，强制权重在源任务与目标任务间实现泛化，而迁移学习则因初始权重不佳而面临收敛困难。
• 多任务学习与迁移学习之间的性能差距在顺序推理设置中最为显著，因该类任务的算法结构更复杂，难以直接进行权重迁移。
• 当存在中间监督时，更表达力强的架构（如NE++）可能损害系统泛化能力，但在零样本设置下，多任务学习使NE++始终优于简单模型，该劣势消失。