[論文レビュー] Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks

Yonggan Fu, Qixuan Yu+5 more|arXiv (Cornell University)|Oct 26, 2021

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

この論文は、訓練を一切行わずに、ランダムに初期化された深層ニューラルネットワーク内に、元々の頑健性を有するサブネットワーク—いわゆるロバストスクラッチチケット（RST）—が存在することを発見した。これらのRSTは、敵対的に訓練されたモデルと同等またはそれ以上の頑健な正確度を達成しており、動的に入れ替えることで頑健性を向上させる新規なランダムRSTスイッチ（R2S）技術により、さらに性能が向上する。これはパラメータ効率の良い防御戦略を提供する。

ABSTRACT

Deep Neural Networks (DNNs) are known to be vulnerable to adversarial attacks, i.e., an imperceptible perturbation to the input can mislead DNNs trained on clean images into making erroneous predictions. To tackle this, adversarial training is currently the most effective defense method, by augmenting the training set with adversarial samples generated on the fly. Interestingly, we discover for the first time that there exist subnetworks with inborn robustness, matching or surpassing the robust accuracy of the adversarially trained networks with comparable model sizes, within randomly initialized networks without any model training, indicating that adversarial training on model weights is not indispensable towards adversarial robustness. We name such subnetworks Robust Scratch Tickets (RSTs), which are also by nature efficient. Distinct from the popular lottery ticket hypothesis, neither the original dense networks nor the identified RSTs need to be trained. To validate and understand this fascinating finding, we further conduct extensive experiments to study the existence and properties of RSTs under different models, datasets, sparsity patterns, and attacks, drawing insights regarding the relationship between DNNs' robustness and their initialization/overparameterization. Furthermore, we identify the poor adversarial transferability between RSTs of different sparsity ratios drawn from the same randomly initialized dense network, and propose a Random RST Switch (R2S) technique, which randomly switches between different RSTs, as a novel defense method built on top of RSTs. We believe our findings about RSTs have opened up a new perspective to study model robustness and extend the lottery ticket hypothesis.

研究の動機と目的

• 訓練を一切行わずに、ランダムに初期化された深層ニューラルネットワーク内に頑健なサブネットワークが存在するかどうかを調査すること。
• モデルの初期化、過剰パラメータ化とDNN内での内蔵的頑健性の関係を理解すること。
• 未学習モデルに存在するサブネットワークの内蔵的頑健性を活用した実用的な防御機構の開発。
• 異なるデータセットおよびスパarsityレベルにおいて、頑健なサブネットワークの転送可能性と効率性を調査すること。
• RST間の動的スイッチングにより頑健性を向上させる、新規な防御技術であるランダムRSTスイッチ（R2S）の提案。

提案手法

• 訓練を一切行わず、マグニチュードベースのプルーニングを用いて、ランダムに初期化された密なネットワークからサブネットワーク（RST）を同定する。
• 複数のデータセットおよびアーキテクチャで、標準的な敵対的攻撃（例：PGD、Auto-Attack）を用いてRSTの頑健性を評価する。
• 推論時に複数のRSTをランダムにスイッチする、ランダムRSTスイッチ（R2S）技術を提案する。
• 適応的攻撃（EOTおよびアンサンブルベース攻撃）に対するR2Sの頑健性を評価する。
• 敵対的訓練されたサブネットワーク（敵対的RTT）とRSTを比較し、転送可能性とパラメータ効率を評価する。
• モデル、データセット、スパarsityパターン、攻撃タイプの多様な組み合わせにおいて、アブレーションスタディを実施し、RSTの一貫性および特性を検証する。

実験結果

リサーチクエスチョン

• RQ1 訓練を一切行わずに、ランダムに初期化された深層ニューラルネットワーク内に、内蔵的頑健性を有するサブネットワークが存在するか？
• RQ2 RSTの頑健性は、同程度のモデルサイズを持つ敵対的訓練済みモデルと比較してどうなるか？
• RQ3 ネットワークの初期化、過剰パラメータ化と頑健なサブネットワークの出現との関係は何か？
• RQ4 RSTは異なるスパarsity比およびデータセット間でどれほど転送可能か？また、これは頑健性に影響を与えるか？
• RQ5 RST間の動的スイッチングにより、静的モデルと比較して顕著に敵対的頑健性が向上するか？

主な発見

• ランダムに初期化されたResNet101から抽出されたRSTは、ε=2およびε=4の条件下で、それぞれ3.56%および4.31%高い頑健な正確度を達成し、敵対的訓練済みのResNet18を上回った。
• CIFAR-10でPGD-20攻撃の下、R2Sは敵対的訓練済みモデルと比較して13.74%から15.28%高い頑健な正確度を達成した。
• EOTおよびアンサンブルベース攻撃という適応的攻撃に対しても、R2Sは敵対的訓練済みモデルと比較して7.40%から9.83%高い頑健な正確度を維持した。
• RSTは異なるスパarsity比間で敵対的転送性が低いため、効果的なR2S防御の設計が可能である。
• CIFAR-100では、RSTは転送された敵対的RTTと比較して1.68%高い頑健な正確度を示し、優れたパラメータ効率と頑健性を実証した。
• 同じランダムに初期化された密なネットワークを複数のタスクの共有バックボーンとして利用でき、タスク固有のRSTをバイナリマスクによりコンactに保存することで、効率的なデプロイメントが可能である。