[论文解读] Editable Neural Networks

Anton Sinitsin, Vsevolod Plokhotnyuk+3 more|arXiv (Cornell University)|Apr 1, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用 8

一句话总结

本文提出可编辑训练（Editable Training），一种与模型无关的元学习方法，通过训练深度神经网络，实现对单个预测结果的快速、基于梯度的编辑，且不会降低整体性能。在图像分类和机器翻译任务上的评估表明，该方法在每次编辑中最多仅需5.5次训练步骤，性能下降极小（例如，BLEU得分下降从0.76降至0.17），展示了高效且稳健地修正模型错误的能力，同时保持了良好的泛化性能。

ABSTRACT

These days deep neural networks are ubiquitously used in a wide range of tasks, from image classification and machine translation to face identification and self-driving cars. In many applications, a single model error can lead to devastating financial, reputational and even life-threatening consequences. Therefore, it is crucially important to correct model mistakes quickly as they appear. In this work, we investigate the problem of neural network editing $-$ how one can efficiently patch a mistake of the model on a particular sample, without influencing the model behavior on other samples. Namely, we propose Editable Training, a model-agnostic training technique that encourages fast editing of the trained model. We empirically demonstrate the effectiveness of this method on large-scale image classification and machine translation tasks.

研究动机与目标

• 为解决深度神经网络中高效修正单个模型错误这一关键但研究不足的问题。
• 开发一种训练方法，使模型在部署后天然具备快速、局部化编辑的能力。
• 确保编辑过程不会对其他输入的模型性能产生负面影响，避免灾难性遗忘。
• 在大规模任务（如图像分类和神经机器翻译）上评估该方法。
• 展示编辑结果在相似输入上的泛化能力以及在连续编辑下的鲁棒性。

提出的方法

• 该方法利用元学习训练模型，使得在特定错误上仅需少量梯度步骤即可修正其预测，且不会损害其他输入上的性能。
• 引入一个损失项 $\mathcal{L}_{loc}$，通过最小化原始模型与编辑后模型在目标标记上的预测分布之间的KL散度，确保编辑行为具有局部性。
• 在序列建模任务中，仅对最终解码器层应用编辑，并使用经过调优的超参数的RMSProp优化器。
• 该方法与模型无关，可应用于任何可微分模型，包括Transformer和CNN。
• 训练过程中，从温度采样分布中采样编辑目标，以模拟真实世界中的纠错场景。
• 该方法支持在未预先接触此类场景的情况下进行连续编辑，如消融研究所示。

实验结果

研究问题

• RQ1 是否可以训练神经网络，使其能够通过基于梯度的更新快速高效地修正单个预测错误？
• RQ2 所提出的可编辑训练方法在编辑过程中是否能保持模型在非编辑输入上的性能？
• RQ3 编辑结果是否能泛化到训练过程中未见过的语义或视觉上相似的输入？
• RQ4 该方法在多次连续编辑中的编辑效率和性能稳定性如何？
• RQ5 可编辑训练是否能有效应用于神经机器翻译等复杂、高维的任务？

主要发现

• 在IWSLT14德英翻译任务中，可编辑训练实现了34.81的BLEU得分，BLEU得分下降仅为0.17，而基线方法为0.76，表明性能下降极小。
• 当 $\alpha = 10^{-3}$ 时，平均仅需3.07次步骤即可100%成功修正目标翻译，显示出极高的可靠性。
• 在图像分类任务中，当 $c_{loc} = 100$ 时，可编辑训练将成功编辑所需的步骤数减少至5.5，优于随机编辑基线方法。
• 模型在相似图像上的编辑泛化准确率达到85.9%，表明对视点变化等微小输入变化具有鲁棒性。
• 即使未在连续编辑场景中进行过训练，该方法仍成功实现了连续编辑，证实其在真实纠错工作流中的适应能力。
• 与标准微调和基于查找的方法相比，该方法在计算成本和泛化能力方面均显著更优。