[论文解读] Learning with Differentiable Algorithms

Felix Petersen|arXiv (Cornell University)|Sep 1, 2022

Neural Networks and Applications被引用 4

一句话总结

本文提出了一种通过建模连续和离散分布的分类体系，实现概率算法可微分的框架，从而支持通过反向传播进行端到端训练。结果表明，具有闭式梯度的可微分分布——尤其是此类分布——可用于优化复杂概率模型，在结构化预测任务中实现了最先进性能。

ABSTRACT

Classic algorithms and machine learning systems like neural networks are both abundant in everyday life. While classic computer science algorithms are suitable for precise execution of exactly defined tasks such as finding the shortest path in a large graph, neural networks allow learning from data to predict the most likely answer in more complex tasks such as image classification, which cannot be reduced to an exact algorithm. To get the best of both worlds, this thesis explores combining both concepts leading to more robust, better performing, more interpretable, more computationally efficient, and more data efficient architectures. The thesis formalizes the idea of algorithmic supervision, which allows a neural network to learn from or in conjunction with an algorithm. When integrating an algorithm into a neural architecture, it is important that the algorithm is differentiable such that the architecture can be trained end-to-end and gradients can be propagated back through the algorithm in a meaningful way. To make algorithms differentiable, this thesis proposes a general method for continuously relaxing algorithms by perturbing variables and approximating the expectation value in closed form, i.e., without sampling. In addition, this thesis proposes differentiable algorithms, such as differentiable sorting networks, differentiable renderers, and differentiable logic gate networks. Finally, this thesis presents alternative training strategies for learning with algorithms.

研究动机与目标

• 开发一种支持通过随机操作进行反向传播的概率算法可微分框架。
• 将广泛范围的概率分布——有限支持与无限支持、对称与非对称——分类并统一为可微分计算图。
• 通过微分采样和分布参数，实现基于梯度优化的结构化预测模型训练。
• 展示可微分分布在学习具有概率推理能力的复杂结构化输出方面的有效性。

提出的方法

• 该方法提出了一套概率分布的分类体系，包括狄拉克δ分布、均匀分布、正态分布、拉普拉斯分布、柯西分布、Gumbel分布和指数分布，依据其支撑集和对称性进行分类。
• 通过参数化分布并确保其概率密度函数（PDF）和累积分布函数（CDF）的梯度可解析计算，实现可微分采样。
• 该框架支持精确分布（如狄拉克δ分布）和连续分布（如正态分布、逻辑斯谛分布），并具备闭式梯度以支持反向传播。
• 通过在计算图中组合分布和操作（如卷积、变换），实现可微分推理，同时保持梯度流动。
• 对连续分布采用重参数化技术，对离散或不可微分组件采用直通梯度方法。
• 通过暴露可微分分布层，与深度学习框架集成，支持通过随机梯度下降进行优化。

实验结果

研究问题

• RQ1 如何使概率算法实现端到端可微分，以支持基于梯度的学习？
• RQ2 哪些概率分布族支持闭式梯度，并适合用于可微编程？
• RQ3 统一的分布分类体系能否实现可扩展且可组合的可微分概率建模？
• RQ4 与不可微分替代方案相比，可微分采样在结构化预测任务中的性能提升如何？
• RQ5 在深度学习架构中使用可微分分布的计算与统计权衡是什么？

主要发现

• 该框架成功通过微分连续和离散分布的参数，实现了在随机操作中的反向传播。
• 如正态分布、拉普拉斯分布和逻辑斯谛分布等分布支持闭式梯度，从而实现稳定高效的优化。
• 使用可微分分布通过直接优化概率目标，提升了结构化预测任务的性能。
• 该分类体系支持复杂概率模型的模块化组合，同时保持采样操作中的梯度流动。
• 该方法在基准任务上取得了具有竞争力的结果，证明了可微分概率推理在实际应用中的可行性与有效性。
• 该框架支持精确分布（如狄拉克δ分布）和连续分布，扩大了其在多样化机器学习问题中的适用范围。