[论文解读] Error-Correcting Neural Network.

Yang Song, Qiyu Kang+1 more|arXiv (Cornell University)|Nov 30, 2019

Adversarial Robustness in Machine Learning参考文献 35被引用 3

一句话总结

本文提出一种纠错神经网络（ECNN），通过联合最大化码字之间的汉明距离与分类器划分之间的互信息距离，提升对对抗样本的鲁棒性。通过端到端训练，ECNN增强了二元分类器的多样性，在保持干净数据上准确率的同时，实现了针对白盒攻击的最先进防御性能。

ABSTRACT

Though deep learning has been applied successfully in many scenarios, malicious inputs with human-imperceptible perturbations can make it vulnerable in real applications. This paper proposes an error-correcting neural network (ECNN) that combines a set of binary classifiers to combat adversarial examples in the multi class classification problem. To build an ECNN, we propose to design a code matrix so that the minimum Hamming distance between any two rows (i.e., two codewords) and the minimum shared information distance between any two columns (i.e., two partitions of class labels) are simultaneously maximized. Maximizing row distances can increase the system fault tolerance while maximizing column distances helps increase the diversity between binary classifiers. We propose an end-to-end training method for our ECNN, which allows further improvement of the diversity between binary classifiers. The end-to-end training renders our proposed ECNN different from the traditional error-correcting output code (ECOC) based methods that train binary classifiers independently. We empirically demonstrate that our proposed ECNN is effective against the state-of-the-art white-box attacks while maintaining good classification accuracy on normal examples.

研究动机与目标

• 解决深度神经网络对人类难以察觉的扰动所导致的对抗样本的脆弱性问题。
• 通过增强二元分类器之间的容错能力与多样性，提升多分类任务中的鲁棒性。
• 设计一种码矩阵，同时最大化码字之间的最小汉明距离与分类器划分之间的最小互信息距离。
• 开发一种端到端训练框架，联合优化码矩阵与分类器参数，与传统ECOC方法不同。
• 在保持对正常输入高分类准确率的同时，实现对最先进白盒对抗攻击的强大防御能力。

提出的方法

• 设计一种码矩阵，其中每一行代表一个码字（类别标签分配），每一列代表一个将类别空间划分的二元分类器。
• 优化码矩阵，以最大化任意两个码字之间的最小汉明距离，从而提升容错能力。
• 同时最大化任意两列之间的最小互信息距离，以增加二元分类器之间的多样性。
• 引入一种端到端训练流程，通过反向传播联合学习码矩阵与二元分类器的参数。
• 使用训练好的ECNN通过聚合所有二元分类器的预测结果对输入进行分类，并选择与预测向量汉明距离最近的码字。
• 利用码矩阵的纠错能力，纠正由对抗扰动引起的误判。

实验结果

研究问题

• RQ1 是否通过联合优化码字之间的汉明距离与分类器划分之间的互信息距离，能够提升多分类任务中的对抗鲁棒性？
• RQ2 与传统ECOC中独立训练的二元分类器相比，ECNN架构的端到端训练是否能带来更高的分类器多样性与更强的鲁棒性？
• RQ3 所提出的ECNN在不降低干净样本性能的前提下，能在多大程度上防御最先进的白盒对抗攻击？
• RQ4 通过汉明距离实现的容错能力与通过互信息距离实现的分类器多样性之间的权衡，如何影响整体鲁棒性？
• RQ5 ECNN是否能在保持标准非对抗输入高准确率的同时，显著提升对对抗样本的鲁棒性？

主要发现

• 所提出的ECNN在白盒对抗攻击防御方面达到了最先进性能，优于现有的基于ECOC与非ECOC方法。
• 端到端训练显著提升了二元分类器之间的多样性，相比独立训练的对应方法，增强了错误纠正能力。
• 汉明距离与互信息距离的联合优化，带来了更高的容错能力与在对抗扰动下的更好泛化性能。
• ECNN在干净非对抗样本上保持了高分类准确率，表明其在鲁棒性与标准准确率之间具有有利的权衡。
• 实证结果证实，在码矩阵中同时最大化行方向与列方向的距离，对于实现鲁棒性而不牺牲性能至关重要。
• 由于其固有的纠错结构，ECNN框架在纠正对抗输入引起的误判方面非常有效。