[論文レビュー] Exploring the Vulnerability of Deep Neural Networks: A Study of Parameter Corruption

Xu Sun, Zhiyuan Zhang+3 more|arXiv (Cornell University)|Jun 10, 2020

Adversarial Robustness in Machine Learning参考文献 43被引用数 7

ひとこと要約

本稿では、微小なパラメータの汚染に対して最悪の損失変化を推定することで、勾配に基づく手法を提案し、深層ニューラルネットワークのパラメータのロバストネスを測定する。その結果、ランダムな汚染に対しては耐性を示すが、標的の摂動に対しては極めて脆弱であることが明らかになった。この手法により、敵対的汚染に強い訓練が可能となり、ResNet-34 やトランスフォーマーなどのアーキテクチャにおいて、パラメータのロバストネスとモデルの精度の両方を向上させた。

ABSTRACT

We argue that the vulnerability of model parameters is of crucial value to the study of model robustness and generalization but little research has been devoted to understanding this matter. In this work, we propose an indicator to measure the robustness of neural network parameters by exploiting their vulnerability via parameter corruption. The proposed indicator describes the maximum loss variation in the non-trivial worst-case scenario under parameter corruption. For practical purposes, we give a gradient-based estimation, which is far more effective than random corruption trials that can hardly induce the worst accuracy degradation. Equipped with theoretical support and empirical validation, we are able to systematically investigate the robustness of different model parameters and reveal vulnerability of deep neural networks that has been rarely paid attention to before. Moreover, we can enhance the models accordingly with the proposed adversarial corruption-resistant training, which not only improves the parameter robustness but also translates into accuracy elevation.

研究の動機と目的

• 深層ニューラルネットワークのパラメータが汚染に対して過小評価されている脆弱性に取り組むこと。これは、ロバストネスと一般化性能に影響を与える。
• ランダムな汚染試行の限界を克服するため、パラメータ汚染下での最悪の損失変化を効率的に推定する勾配ベースの推定器を開発すること。
• 特に正規化層を含む、異なる層やコンponentにおけるパラメータのロバストネスを体系的に分析すること。
• モデルのロバストネスと精度を向上させる、新しい敵対的汚染に強い訓練手法を提案すること。

提案手法

• 小さな標的のパラメータ摂動（汚染）下での最大損失変化を測るロバストネス指標を提案。これは非自明な近傍における最悪の損失変化として定義される。
• 計算的に不切なランダムサーチを避けるために、最悪の汚染方向を効率的に特定する勾配ベースの推定技術を導入。
• L∞およびL2ノルムを用いて汚染の大きさを定義し、ResNet-34およびトランスフォーマーにおける層ごとの脆弱性を分析に適用。
• ResNet-34では下流層がよりロバストであるのに対し、トランスフォーマーのデコーダー部およびバッチ正規化層はより脆弱であることが判明。
• 最適化中に仮想のパラメータ汚染を注入することで、損失関数の急勾配方向を避ける敵対的汚染に強い訓練を設計。
• 理論的および実験的検証を通じて、汚染に強いパラメータがより良い一般化性能を示し、精度が向上することを確認。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークのパラメータは、標的の汚染に対してどれほど脆弱であり、異なる層やコンponent間でその脆弱性はどのように変化するか？
• RQ2 勾配ベースの推定は、ランダムな汚染試行に比べて、最悪のパラメータ摂動を特定する上で優れているか？
• RQ3 バッチ正規化のような正規化層が、他のコンponentと比較して高い脆弱性を示す理由は何か？
• RQ4 仮想のパラメータ汚染を用いた訓練は、ロバストネスと一般化性能の両方を向上させるか？
• RQ5 損失関数の局所的幾何的性質や構造的特徴のうち、パラメータのロバストネスと相関するものは何か？

主な発見

• ResNet-34におけるバッチ正規化層は、隣接する畳み込み層よりも著しく脆弱であり、ε=5のL∞ノルム汚染下では精度が60%以上低下した。
• ResNet-34の下流層は高いロバストネスを示し、ε=20の汚染下でも90%以上の精度を維持したが、トランスフォーマーの上流層はより感受性が高かった。
• 勾配ベースの汚染手法は、ランダム試行に比べて最悪の劣化をより効果的に特定し、ランダムサンプリングでは見逃される損失関数の急勾配方向を明らかにした。
• 敵対的汚染に強い訓練により、ResNet-34ではImageNetのトップ-1精度が最大1.2%向上し、CIFAR-10では0.8%向上した。同時にパラメータのロバストネスも向上した。
• 仮想の汚染を用いて訓練されたモデルは、パラメータ摂動に対する感受性が低く、局所的な損失関数の平坦さが向上しており、より良い一般化性能を示した。
• 最悪の損失変化指標は、非自明なロバストネスのトレードオフを的確に捉えており、損失が低いからといってロバスト性が高いとは限らないことが示された。損失関数上の点Bのパラメータは、点Aのパラメータよりもより脆弱であった。