[论文解读] Neural network gradient-based learning of black-box function interfaces

Alon Jacovi, Guy Hadash+5 more|arXiv (Cornell University)|Jan 13, 2019

Advanced Neural Network Applications参考文献 19被引用 11

一句话总结

本文提出了一种新颖的“估计并替换”框架，用于端到端训练与不可微分黑箱函数交互的神经网络。通过在优化过程中训练一个可微分的神经估计器来模仿黑箱函数，并在推理时用实际函数替换该估计器，该方法实现了无需中间标签的基于梯度的学习，相较于强化学习或完全可微分模型，实现了更好的泛化能力和样本效率。

ABSTRACT

Deep neural networks work well at approximating complicated functions when provided with data and trained by gradient descent methods. At the same time, there is a vast amount of existing functions that programmatically solve different tasks in a precise manner eliminating the need for training. In many cases, it is possible to decompose a task to a series of functions, of which for some we may prefer to use a neural network to learn the functionality, while for others the preferred method would be to use existing black-box functions. We propose a method for end-to-end training of a base neural network that integrates calls to existing black-box functions. We do so by approximating the black-box functionality with a differentiable neural network in a way that drives the base network to comply with the black-box function interface during the end-to-end optimization process. At inference time, we replace the differentiable estimator with its external black-box non-differentiable counterpart such that the base network output matches the input arguments of the black-box function. Using this "Estimate and Replace" paradigm, we train a neural network, end to end, to compute the input to black-box functionality while eliminating the need for intermediate labels. We show that by leveraging the existing precise black-box function during inference, the integrated model generalizes better than a fully differentiable model, and learns more efficiently compared to RL-based methods.

研究动机与目标

• 解决将不可微分、精确的黑箱函数集成到端到端神经网络训练中的挑战。
• 消除在需要神经网络与外部符号或算术函数交互的任务中对昂贵中间标签的需求。
• 与基于强化学习的方法相比，提升黑箱函数集成的训练稳定性和样本效率。
• 通过在推理时利用黑箱函数的精确行为，实现更好的泛化能力。
• 通过模块化、接口兼容的神经架构提升模型的可解释性和可重用性。

提出的方法

• 引入一个可微分的黑箱估计器网络，在训练期间近似不可微分黑箱函数的输入-输出行为。
• 使用反向传播端到端训练主神经网络，其中黑箱估计器作为真实函数的代理。
• 利用从实际黑箱函数在相同输入上的输出派生的合成标签，为估计器生成监督信号。
• 在推理时用原始不可微分黑箱函数替换可微分估计器，保留网络学习到的输入分布。
• 使用黑箱函数作为“预言机”来指导估计器的训练，确保与真实接口的一致性。
• 设计模块化架构，使网络可被理解为可学习组件与明确定义的外部函数调用的组合。

实验结果

研究问题

• RQ1 我们能否在无需中间标签的情况下，训练神经网络以生成不可微分黑箱函数的输入？
• RQ2 在推理时用实际黑箱函数替换可微分估计器，是否相比完全端到端神经模型能提升模型的泛化能力？
• RQ3 尽管存在不可微性，梯度优化能否有效应用于调用黑箱函数的模型？
• RQ4 与基于强化学习的替代方法相比，所提出的“估计并替换”方法在样本效率和训练稳定性方面表现如何？
• RQ5 该框架的模块化设计在多大程度上提升了模型的可解释性和可重用性？

主要发现

• “估计并替换”方法在泛化能力上优于完全可微分神经网络模型，因为它在推理时利用了黑箱函数的精确行为。
• 与基于策略梯度的强化学习方法相比，该方法在黑箱函数集成任务中实现了更低的样本复杂度和更高的训练稳定性。
• 通过使用黑箱函数作为“预言机”来生成估计器的训练信号，该方法消除了对昂贵中间标签的需求。
• 模块化架构提升了可解释性，因为模型与外部函数（如 WordNet 或算术模块）的交互关系可以被检查和解释。
• 该框架支持可重用性，因为明确定义接口的兼容模块可被复用于不同任务。
• 实证结果表明，该方法在语义解析和问答任务中的学习效率和最终性能方面，均优于端到端神经模型和基于强化学习的基线方法。