[论文解读] How Robust are Deep Neural Networks?

Biswa Sengupta, Karl Friston|arXiv (Cornell University)|Apr 30, 2018

Adversarial Robustness in Machine Learning参考文献 21被引用 9

一句话总结

本文研究了循环神经网络（RNNs）对微小扰动的鲁棒性，揭示了高分类准确率并不意味着结构稳定性。研究发现，即使经过谱归一化的RNN——旨在提升稳定性——依然表现出高度非鲁棒性，并引入了$ε$-伪谱作为分析训练过程中非正规、不可对角化权重矩阵引发不稳定性的一种工具。

ABSTRACT

Convolutional and Recurrent, deep neural networks have been successful in machine learning systems for computer vision, reinforcement learning, and other allied fields. However, the robustness of such neural networks is seldom apprised, especially after high classification accuracy has been attained. In this paper, we evaluate the robustness of three recurrent neural networks to tiny perturbations, on three widely used datasets, to argue that high accuracy does not always mean a stable and a robust (to bounded perturbations, adversarial attacks, etc.) system. Especially, normalizing the spectrum of the discrete recurrent network to bound the spectrum (using power method, Rayleigh quotient, etc.) on a unit disk produces stable, albeit highly non-robust neural networks. Furthermore, using the $ε$-pseudo-spectrum, we show that training of recurrent networks, say using gradient-based methods, often result in non-normal matrices that may or may not be diagonalizable. Therefore, the open problem lies in constructing methods that optimize not only for accuracy but also for the stability and the robustness of the underlying neural network, a criterion that is distinct from the other.

研究动机与目标

• 研究高准确率RNN在面对小输入或权重扰动时是否仍保持鲁棒性。
• 分析谱归一化（用于稳定性）与对抗性或结构性扰动下实际鲁棒性之间的脱节。
• 识别当前训练方法在确保鲁棒性方面的局限性，特别是在安全关键应用中。
• 提出一种框架，通过伪谱和变分推断的视角，整合稳定性、鲁棒性和泛化能力。
• 强调需要超越准确率的优化标准，纳入结构稳定性及对扰动的鲁棒性。

提出的方法

• 使用$ε$-伪谱分析循环权重矩阵对微小扰动的敏感性，揭示即使特征值位于单位圆内，仍存在不稳定性。
• 通过幂迭代法和瑞利商应用谱归一化，将谱半径约束为1，以实现动力学稳定性。
• 利用伪谱的结构稳定性概念，评估权重矩阵的微小变化是否显著改变网络动力学。
• 分析训练后RNN权重矩阵的非正规性，表明其通常不可对角化，导致瞬态增长和不稳定性。
• 提出变分推断和自由能最小化可能为平衡鲁棒性、稳定性和泛化能力提供一种原则性路径。
• 借鉴控制理论（如$H_{\infty}$控制）的类比，将鲁棒性建模为最小化扰动影响，尽管承认谱 abscissa 和半径的非凸性。

实验结果

研究问题

• RQ1 尽管进行了谱归一化，高准确率RNN在面对小输入或权重扰动时，其鲁棒性在多大程度上仍能保持？
• RQ2 ε-伪谱如何揭示具有非正规、不可对角化权重矩阵的RNN中的不稳定性？
• RQ3 为何基于梯度的训练方法即使在谱范数有界的情况下，仍无法产生鲁棒网络？
• RQ4 变分推断框架（如VAEs）是否能通过平衡复杂性与稳定性，内在地促进鲁棒性？
• RQ5 需要何种优化标准，才能同时确保深度学习模型的准确性、稳定性和鲁棒性？

主要发现

• 即使经过谱归一化以限制谱半径，高准确率RNN对微小扰动仍表现出高度非鲁棒性。
• $ε$-伪谱揭示，训练后的RNN通常具有非正规的权重矩阵，且不可对角化，导致瞬态增长和不稳定性。
• 仅靠谱归一化不足以保证鲁棒性，因为它无法控制条件数或伪谱半径。
• 非正规矩阵可能引起扰动的大幅瞬态放大，使网络在特征值稳定的情况下仍结构不稳。
• 本文识别出一个关键缺口：当前训练方法优化的是准确率，却忽视了安全关键系统中至关重要的鲁棒性标准。
• 变分推断和自由能最小化可能通过平衡复杂性与敏感性，为实现鲁棒、稳定且可泛化的解决方案提供一条原则性路径。