[論文レビュー] How Robust are Deep Neural Networks?

Biswa Sengupta, Karl Friston|arXiv (Cornell University)|Apr 30, 2018

Adversarial Robustness in Machine Learning参考文献 21被引用数 9

ひとこと要約

この論文は、再帰的ニューラルネットワーク（RNNs）の微小な摂動に対するロバスト性を調査し、高い分類精度が構造的安定性を意味するわけではないことを明らかにした。スペクトル正規化RNNですら、安定性を目的としたが、依然として極めて非ロバストであることが示され、非正規かつ非対角化可能な重み行列に起因する不安定性を分析するための$ε$-擬スペクトルが導入された。

ABSTRACT

Convolutional and Recurrent, deep neural networks have been successful in machine learning systems for computer vision, reinforcement learning, and other allied fields. However, the robustness of such neural networks is seldom apprised, especially after high classification accuracy has been attained. In this paper, we evaluate the robustness of three recurrent neural networks to tiny perturbations, on three widely used datasets, to argue that high accuracy does not always mean a stable and a robust (to bounded perturbations, adversarial attacks, etc.) system. Especially, normalizing the spectrum of the discrete recurrent network to bound the spectrum (using power method, Rayleigh quotient, etc.) on a unit disk produces stable, albeit highly non-robust neural networks. Furthermore, using the $ε$-pseudo-spectrum, we show that training of recurrent networks, say using gradient-based methods, often result in non-normal matrices that may or may not be diagonalizable. Therefore, the open problem lies in constructing methods that optimize not only for accuracy but also for the stability and the robustness of the underlying neural network, a criterion that is distinct from the other.

研究の動機と目的

• 高い精度を達成するRNNが、微小な入力または重みの摂動に対してもロバストであるかどうかを調査すること。
• 安定性のためのスペクトル正規化と、敵対的または構造的摂動に対する実際のロバスト性の間にある乖離を分析すること。
• 特に安全が求められる応用分野において、現在の訓練手法がロバスト性を保証する点での限界を特定すること。
• 擬スペクトルと変分推論の観点から、安定性、ロバスト性、一般化を統合するフレームワークを提案すること。
• 精度を超えて構造的安定性や摂動への耐性を含む最適化基準の必要性を強調すること。

提案手法

• 微小な摂動に対する再帰的重み行列の感度を分析するため、$ε$-擬スペクトルを用いる。これにより、固有値が単位円板内にあろうとも不安定性が明らかになる。
• スペクトル半径を1に制限する目的で、パワー法とレイノルズ商を用いてスペクトル正規化を適用し、動的安定性を図る。
• 擬スペクトルによる構造的安定性の概念を用い、重み行列の微小な変化がネットワークのダイナミクスを著しく変えるかどうかを評価する。
• 訓練済みRNNの重み行列の非正規性を分析し、しばしば対角化不可能であることが判明。これにより一時的増幅と不安定性が生じる。
• 変分推論と自由エネルギー最小化が、ロバスト性、安定性、一般化をバランスさせる原理的アプローチを提供する可能性があると提唱する。
• 制御理論（例：$H_{\infty}$制御）との類似性を用い、摂動の影響を最小化する形でロバスト性を定式化するが、スペクトル絶対値と半径の非凸性に注意を払う。

実験結果

リサーチクエスチョン

• RQ1 スペクトル正規化を施しても、高精度RNNは微小な入力または重みの摂動に対してどれほどロバストであるのか？
• RQ2 $ε$-擬スペクトルは、非正規かつ非対角化可能な重み行列を有するRNNにおける不安定性をどのように明らかにするか？
• RQ3 勾配ベースの訓練手法は、スペクトルノルムが束縛されていても、なぜロバストなネットワークを生成できないのか？
• RQ4 変分推論フレームワーク（例：VAEs）は、複雑さと安定性のバランスを取ることで、本質的にロバスト性を促進できるか？
• RQ5 深層学習モデルにおいて、精度、安定性、ロバスト性を同時に満たすために必要な最適化基準は何か？

主な発見

• スペクトル半径を束縛するスペクトル正規化を施しても、高精度RNNは微小摂動に対して依然として極めて非ロバストである。
• $ε$-擬スペクトルは、訓練済みRNNの重み行列が非正規的でかつ対角化不可能であることが多く、一時的増幅と不安定性を引き起こすことを明らかにした。
• スペクトル正規化だけではロバスト性が十分ではなく、条件数や擬スペクトル半径の制御が行われていないためである。
• 非正規行列は、固有値が安定であっても、摂動の大きな一時的増幅を引き起こし、ネットワークの構造的不安定性を生じさせる。
• 本研究は、現在の訓練手法が精度最適化に特化している一方で、安全が求められるシステムに不可欠なロバスト性基準を無視しているという重要なギャップを特定した。
• 変分推論と自由エネルギー最小化は、複雑さと感受性のバランスを取ることで、ロバストで安定的かつ一般化可能な解を達成する原理的道筋を提供する可能性がある。