[論文レビュー] The Search for Sparse, Robust Neural Networks

Justin Cosentino, Federico Zaiter+2 more|arXiv (Cornell University)|Dec 5, 2019

Adversarial Robustness in Machine Learning参考文献 23被引用数 15

ひとこと要約

この論文では、ローティー・チケット仮説と adversarial training を組み合わせることで、スパースでロバストなニューラルネットワークを発見する手法を提案している。反復的プルーニングと再訓練によって特定されたサブネットワークは、96.4%のスパースリティでさえ、密な対応物よりも高い adversarial accuracy を達成しており、訓練が速く、自然な精度においても競争力があることを示している。

ABSTRACT

Recent work on deep neural network pruning has shown there exist sparse subnetworks that achieve equal or improved accuracy, training time, and loss using fewer network parameters when compared to their dense counterparts. Orthogonal to pruning literature, deep neural networks are known to be susceptible to adversarial examples, which may pose risks in security- or safety-critical applications. Intuition suggests that there is an inherent trade-off between sparsity and robustness such that these characteristics could not co-exist. We perform an extensive empirical evaluation and analysis testing the Lottery Ticket Hypothesis with adversarial training and show this approach enables us to find sparse, robust neural networks. Code for reproducing experiments is available here: https://github.com/justincosentino/robust-sparse-networks.

研究の動機と目的

• スパースなサブネットワークが、過パラメータ化されたモデルを必要とせずに高い adversarial robustness を達成できるかどうかを調査すること。
• ロバストネスが、精度と同様に、過パラメータ化されたネットワークにおける運命的な重み初期化に起因するのではという仮説を検証すること。
• ローティー・チケット仮説が、adversarial training を通じてスパースでロバストなニューラルネットワークを同定できるかを評価すること。
• さまざまなスパースリティレベルと adversarial 攻撃の下で、ローティー・チケットプルーニング、継続的訓練、ランダム再初期化プルーニングの性能を比較すること。

提案手法

• マグニチュード基準に基づく非構造的プルーニングを、密度の高い過パラメータ化されたニューラルネットワークに反復的に適用する。
• ローティー・チケット仮説に従い、プルーニングされたサブネットワークを独立して再訓練することで、ウィンニングチケットを同定する。
• 再訓練段階で FGSM および PGD 攻撃を用いた adversarial training を統合し、ロバストネスを向上させる。
• MNIST および Fashion-MNIST データセット上で、複数のスパースリティレベル（1.8% から 96.4%）でモデルを評価する。
• 検証損失に基づく早期停止を用い、各手法間の訓練効率を比較する。
• プルーニング戦略（ローティー・チケット、継続的訓練、ランダム再初期化）の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ローティー・チケット仮説によって特定されたスパースなサブネットワークは、その密な対応物と同等またはそれ以上の adversarial robustness を達成できるか？
• RQ2 スパースリティと adversarial robustness の間にトレードオフがあるのか、それとも両者を同時に達成できるのか？
• RQ3 ローティー・チケット再訓練中に adversarial training を行うと、スパースモデルの最終的なロバストネスと一般化性能にどのような影響を与えるか？
• RQ4 特に PGD 攻撃のような強い攻撃下で、高スパースリティレベルにおいて継続的訓練がローティー・チケットプルーニングを上回るのか？
• RQ5 どのスパースリティレベルで、ローティー・チケットが自然精度および adversarial 精度の両面で他の手法を一貫して上回るのか？

主な発見

• 最良のロバストなローティー・チケットは 16.9% のスパースリティを達成し、元の密なネットワークよりも adversarial accuracy が高く、自然精度はほぼ同等を維持した。
• 96.4% のスパースリティでも、ウィンニング・ローティー・チケットは密なモデルを上回る adversarial accuracy を達成しており、スパースリティとロバストネスのトレードオフという考えに反する。
• ローティー・チケットアプローチは元の密なネットワークよりも高速に訓練され、検証損失に基づく早期停止を用いた場合、より優れた結果を出した。
• PGD 攻撃の下では、MNIST において 51.3% のスパースリティで継続的訓練がローティー・チケットプルーニングを上回った。これは、強い攻撃では代替的なプルーニング戦略が好まれる可能性を示唆している。
• 最も高いスパースリティレベル（3.6% および 1.8%）では、ローティー・チケットが他の手法を一貫して上回った。これは、あるスパースリティの閾値を超えると、運命的な初期化が極めて重要になることを示している。
• ランダム再初期化プルーニングは、評価されたすべてのシナリオで他のすべての手法に劣った。これは、スケールでのロバストネスを達成するには初期化に配慮したプルーニングが不可欠であることを示している。