[論文レビュー] Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness

Tianlong Chen, Huan Zhang+5 more|arXiv (Cornell University)|Jun 15, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文では、線形性グラフトリングと呼ばれる緩いニューロンプルーニング手法を紹介する。この手法は、意味のない不安定なReLUニューロンを学習可能な線形活性化に置き換えることで、証明可能ロバスト性と検証スケーラビリティを向上させる。勾配最適化により勾配と切片のパラメータを最適化することで、認証ロバストトレーニングを用いない場合でも、ベースラインモデルに比べ最大82.30%高い認証精度を達成し、最大1700万パラメータを持つ大規模モデルについても完全な検証を可能にする。

ABSTRACT

Certifiable robustness is a highly desirable property for adopting deep neural networks (DNNs) in safety-critical scenarios, but often demands tedious computations to establish. The main hurdle lies in the massive amount of non-linearity in large DNNs. To trade off the DNN expressiveness (which calls for more non-linearity) and robustness certification scalability (which prefers more linearity), we propose a novel solution to strategically manipulate neurons, by "grafting" appropriate levels of linearity. The core of our proposal is to first linearize insignificant ReLU neurons, to eliminate the non-linear components that are both redundant for DNN performance and harmful to its certification. We then optimize the associated slopes and intercepts of the replaced linear activations for restoring model performance while maintaining certifiability. Hence, typical neuron pruning could be viewed as a special case of grafting a linear function of the fixed zero slopes and intercept, that might overly restrict the network flexibility and sacrifice its performance. Extensive experiments on multiple datasets and network backbones show that our linearity grafting can (1) effectively tighten certified bounds; (2) achieve competitive certifiable robustness without certified robust training (i.e., over 30% improvements on CIFAR-10 models); and (3) scale up complete verification to large adversarially trained models with 17M parameters. Codes are available at https://github.com/VITA-Group/Linearity-Grafting.

研究の動機と目的

• 深層ReLUネットワークに起因する過剰な非線形性が引き起こすニューラルネットワーク検証におけるスケーラビリティのボトルネックを解消すること。
• 時間のかかる認証ロバストトレーニングに依存せずに、認証可能ロバスト性を向上させること。
• 従来のニューロンプルーニングを緩和し、ニューロンをゼロに設定するのではなく、調整可能な線形活性化を導入すること。
• 不安定なReLUニューロンの数を削減することで、敵対的訓練を施した大規模モデルについても完全な検証を可能にすること。
• 過剰なプルーニングによる性能低下を避けるために、最適化された線形パラメータを維持することで高いモデル性能を維持すること。

提案手法

• 活性化勾配（GAP）を重要度の代理指標として用い、意味がなく不安定なReLUニューロンを同定する。
• 選択されたReLUニューロンを、$ a \times x + b $ の形をした学習可能な線形関数に置き換える。ここで $ a $ と $ b $ は微調整中に最適化される。
• 1回のステップで行うか、段階的にグラフトするスケジュールを適用し、ハイパーパrameterは標準的なトレーニングにより調整する。
• 検証には線形緩和を用いる。非線形性が低減されると、計算効率が良くかつタイトな境界が得られる。
• 事前学習済みの敵対的訓練済みモデルにグラフトを統合し、再学習を一切行わずに認証可能ロバスト性を向上させる。
• 勾配と切片の両方を最適化することで、モデルの表現力の維持と、不活性化されたニューロンの飽和を回避する。

実験結果

リサーチクエスチョン

• RQ1 認証ロバストトレーニングを用いない場合でも、冗長なReLUニューロンを学習可能な線形関数に置き換えることで、認証可能ロバスト性が向上するか？
• RQ2 線形性グラフトリングによって非線形性を低減することで、検証境界がタイトになり、スケーラビリティが向上するか？
• RQ3 学習可能な線形グラフトリングは、従来のニューロンプルーニング（つまり、ニューロンをゼロに設定する）と比較して、性能およびロバスト性において優れているか？
• RQ4 線形性グラフトリングは、大規模で敵対的訓練を施したモデルについても完全な検証を可能にするか？
• RQ5 グラフトを適用した際の、標準精度、検証精度、トレーニング効率のトレードオフは何か？

主な発見

• 線形性グラフトリングは、認証ロバストトレーニングを用いないベースラインモデルと比較して、CIFAR-10モデルにおいて最大82.30%高い認証精度を達成した。
• 1700万パラメータを持つモデルにおいて、認証防御トレーニングを一切行わず、$ \epsilon = 8/255 $ 時に32.30%の認証精度を達成した。
• 学習可能なパラメータ（$ a \times x + b $）を用いたグラフトリングは、ニューロンをゼロに設定したもの（すなわち、標準的プルーニング）よりも優れており、検証精度が2.96%向上し、標準精度が1.63%向上した。
• 最先端の認証ロバストトレーニングと比較して、トレーニング時間を92.87%短縮したが、検証精度および標準精度は両方ともより高く達成された。
• 段階的グラフトリングは1回のステップで行うグラフトリングよりもわずかに高い標準精度を維持したが、わずかに低い検証精度であったため、安定性のトレードオフが生じていることが示された。
• この手法により、従来の非線形性が高いために処理不能であった大規模モデルについても完全な検証が可能となり、スケーラビリティの向上が実証された。