[論文レビュー] Sparsity Winning Twice: Better Robust Generalization from More Efficient Training

Tianlong Chen, Zhenyu Zhang+5 more|arXiv (Cornell University)|Feb 20, 2022

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、2つの手法——静的スパarsity（Early Bird（Robust Bird）チケット）と動的スパarsity（Flying Bird（FB）およびFB+）——を用いたスパースな adversarial training を提案する。これにより、ロバスト一般化ギャップとトレーニングコストの両方を同時に低減する。CIFAR-100 と ResNet-18 を用いた実験で、ロバスト一般化ギャップを最大34.44%小さくし、トレーニングのFLOPを87.83%削減した。その一方で、ロバスト性と標準的な精度を維持または向上させた。

ABSTRACT

Recent studies demonstrate that deep networks, even robustified by the state-of-the-art adversarial training (AT), still suffer from large robust generalization gaps, in addition to the much more expensive training costs than standard training. In this paper, we investigate this intriguing problem from a new perspective, i.e., injecting appropriate forms of sparsity during adversarial training. We introduce two alternatives for sparse adversarial training: (i) static sparsity, by leveraging recent results from the lottery ticket hypothesis to identify critical sparse subnetworks arising from the early training; (ii) dynamic sparsity, by allowing the sparse subnetwork to adaptively adjust its connectivity pattern (while sticking to the same sparsity ratio) throughout training. We find both static and dynamic sparse methods to yield win-win: substantially shrinking the robust generalization gap and alleviating the robust overfitting, meanwhile significantly saving training and inference FLOPs. Extensive experiments validate our proposals with multiple network architectures on diverse datasets, including CIFAR-10/100 and Tiny-ImageNet. For example, our methods reduce robust generalization gap and overfitting by 34.44% and 4.02%, with comparable robust/standard accuracy boosts and 87.83%/87.82% training/inference FLOPs savings on CIFAR-100 with ResNet-18. Besides, our approaches can be organically combined with existing regularizers, establishing new state-of-the-art results in AT. Codes are available in https://github.com/VITA-Group/Sparsity-Win-Robust-Generalization.

研究の動機と目的

• 標準的および adversarial training（AT）における大きなロバスト一般化ギャップと高い計算コストを解決すること。
• AT中に構造的スパarsityを導入することで、ロバスト一般化とトレーニング効率が向上するかを調査すること。
• ロットリーチ・チケット仮説にインspiredされた、adversarial training におけるスパースサブネットワーク（ウィンナーチケット）の存在と有用性を調査すること。
• 固定スパarsityレベルを維持しながら、トレーニング中に接続構造を動的に最適化する動的スパarsityトレーニング手法を開発すること。
• スパarsityがロバストオーバーフィッティングを緩和し、精度を損なわず一般化性能を向上させる正則化要因として機能することを示すこと。

提案手法

• 標準トレーニングの数エポック後に1回のプルーニングを実行することで、初期段階から重要なスパースサブネットワーク（Robust Bird チケット）を特定する。反復的マグニチュードプルーニングを回避する。
• 事前に特定されたこれらのスパースサブネットワークを adversarial training に適用し、効率的かつロバストなモデルトレーニングを実現する。
• Flying Bird（FB）を導入する。これは、固定スパarsity比を維持しながら、重みと接続構造を同時に最適化する動的スパarsity手法である。
• Flying Bird+（FB+）を提案する。これは、トレーニング中にネットワーク容量（スパarsityレベル）を適応的に調整することで、ロバスト一般化を最適化する。
• マグニチュードベースのプルーニングと勾配ベースの接続性増加を用いて、動的スパarsityトレーニング中に低損失と高速収束を維持する。
• 提案手法を既存の正則化手法や adversarial training フレームワーク（例：PGD-AT、TRADES）と統合し、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 adversarial training 中に構造的スパarsityを導入することで、ロバスト性や標準精度を損なわず、ロバスト一般化ギャップを縮小できるか？
• RQ2 ロットリーチ・チケット仮説に基づいて特定されたスパースサブネットワーク（Early Bird チケット）は、adversarial training においても依然としてロバスト性を保持できるか？
• RQ3 動的スパarsityトレーニング（Flying Bird）は、静的スパarsityよりもさらにロバスト一般化ギャップを縮小できるか？
• RQ4 適応的スパarsity調整（Flying Bird+）は、固定スパarsityまたは密なモデルよりも優れたロバスト一般化を達成できるか？
• RQ5 提案されたスパーストレーニング手法は、既存の正則化手法や効率的トレーニング技術（例：Free AT）と効果的に組み合わせられ、さらなる効率向上が見込めるか？

主な発見

• CIFAR-100 と ResNet-18 を用いた実験で、提案手法はロバスト一般化ギャップを34.44%縮小し、ロバストオーバーフィッティングを4.02%削減した。
• 80%のスパarsityを適用した場合、Flying Bird+ はトレーニングと推論の両方で87.83%および87.82%のFLOP削減を達成した。WideResNet-34-10 では、ロバスト一般化ギャップを13.14%縮小した。
• Flying Bird+ は、OMPベースのプルーニングよりも4.49%狭いロバスト一般化ギャップと1.54%高いロバスト精度を達成した。トレーニングFLOPsは87.58%も削減された。
• わずか数エポックの標準トレーニングで得られる Robust Bird チケットは、顕著な計算コスト削減と向上したロバスト一般化を実現する adversarial training を可能にする。
• 提案手法は、顕著なFLOP削減にもかかわらず、密なPGD-ATベースラインと比較してロバスト性および標準精度を維持または向上させた。
• 本手法は Free Adversarial Training と直交しており、外部データや補助入力を用いずに、さらにトレーニング効率を向上させることのできる統合が可能である。