[论文解读] Learning with Algorithmic Supervision via Continuous Relaxations

Felix Petersen, Christian Borgelt+2 more|arXiv (Cornell University)|Oct 11, 2021

Machine Learning in Healthcare参考文献 41被引用 5

一句话总结

本文提出了一种通用框架，通过在访问时间对变量施加逻辑扰动并采用期望近似，对离散算法组件（如条件语句、循环和索引）进行连续松弛，从而实现端到端可微的神经网络。该方法在算法监督下实现有效训练，在排序和Levenshtein距离任务上优于最先进基线模型，同时在最短路径和轮廓监督任务上保持了具有竞争力的性能。

ABSTRACT

The integration of algorithmic components into neural architectures has gained increased attention recently, as it allows training neural networks with new forms of supervision such as ordering constraints or silhouettes instead of using ground truth labels. Many approaches in the field focus on the continuous relaxation of a specific task and show promising results in this context. But the focus on single tasks also limits the applicability of the proposed concepts to a narrow range of applications. In this work, we build on those ideas to propose an approach that allows to integrate algorithms into end-to-end trainable neural network architectures based on a general approximation of discrete conditions. To this end, we relax these conditions in control structures such as conditional statements, loops, and indexing, so that resulting algorithms are smoothly differentiable. To obtain meaningful gradients, each relevant variable is perturbed via logistic distributions and the expectation value under this perturbation is approximated. We evaluate the proposed continuous relaxation model on four challenging tasks and show that it can keep up with relaxations specifically designed for each individual task.

研究动机与目标

• 通过使离散算法组件可微，实现神经网络在算法监督下的端到端训练。
• 解决条件语句、循环和索引等离散控制结构中的梯度估计挑战。
• 将多种算法监督任务（如排序、最短路径计算和可微渲染）统一于单一连续松弛框架下。
• 在多个算法任务中验证该框架的有效性，包括Levenshtein距离监督等新型应用。
• 提供一种可扩展且通用的替代方案，以替代针对特定任务的松弛方法（如可微排序或可微渲染）

提出的方法

• 在访问时间对变量施加逻辑扰动，实现离散算法组件的连续松弛，从而支持平滑梯度。
• 在条件块之后合并计算路径，以降低复杂度，同时保留嵌套条件语句的精确期望计算。
• 通过逻辑扰动下的闭式期望近似实现梯度估计，避免使用蒙特卡洛采样。
• 在访问时间独立建模变量扰动，避免追踪所有路径组合的需要。
• 通过反向传播将松弛后的算法逻辑集成到神经架构中。
• 使用逆温度β控制松弛的平滑度，训练中采用β = 9

实验结果

研究问题

• RQ1 一种通用的连续松弛框架是否能有效处理超出特定任务松弛的多样化算法监督任务？
• RQ2 与最先进连续松弛方法相比，该方法在性能和训练稳定性方面表现如何？
• RQ3 该框架能否成功处理复杂的嵌套算法逻辑，如动态规划或最短路径计算？
• RQ4 路径合并策略是否能在降低大规模算法执行计算开销的同时保持准确性？
• RQ5 该方法能否在无需架构重构的情况下泛化到新型算法监督任务（如Levenshtein距离监督）？

主要发现

• 所提方法在EMNIST字符串分类任务中优于使用ℓ1距离的基线模型，在OX组合上达到96.0%的Top-1准确率，在IL组合上达到57.0%的Top-1准确率。
• 在Levenshtein距离监督任务中，该方法在四字母组合（ACGT和OSXL）上达到84.7%的Top-1准确率，显著优于基线。
• 该框架在最短路径监督和轮廓监督任务中保持了具有竞争力的性能，与最先进结果相当或略优。
• 该方法成功松弛了复杂算法，包括最短路径算法和可微渲染器，展示了广泛适用性。
• 采用逻辑扰动下的闭式期望近似可实现高效训练，无需蒙特卡洛采样，从而降低计算成本。