[論文レビュー] Model Compression with Adversarial Robustness: A Unified Optimization Framework

Shupeng Gui, Haotao N. Wang+4 more|arXiv (Cornell University)|Feb 10, 2019

Adversarial Robustness in Machine Learning被引用数 62

ひとこと要約

この論文は、ADMMを用いた統合制約最適化フレームワークATMCを紹介し、剪定、低ランク因子分解、非一様量子化を同時に実行して、コンパクトで頑健なCNNを作成します。ADMMを用いて組み合わせた制約を処理し、ベースラインと比較して頑健性とモデルサイズのトレードオフが好ましいことを示します。

ABSTRACT

Deep model compression has been extensively studied, and state-of-the-art methods can now achieve high compression ratios with minimal accuracy loss. This paper studies model compression through a different lens: could we compress models without hurting their robustness to adversarial attacks, in addition to maintaining accuracy? Previous literature suggested that the goals of robustness and compactness might sometimes contradict. We propose a novel Adversarially Trained Model Compression (ATMC) framework. ATMC constructs a unified constrained optimization formulation, where existing compression means (pruning, factorization, quantization) are all integrated into the constraints. An efficient algorithm is then developed. An extensive group of experiments are presented, demonstrating that ATMC obtains remarkably more favorable trade-off among model size, accuracy and robustness, over currently available alternatives in various settings. The codes are publicly available at: https://github.com/shupenggui/ATMC.

研究の動機と目的

• リソース制約のある環境（例：IoT）において、CNNを敵対的頑健性を犠牲にせず圧縮する必要性を動機づける。
• 剪定、低ランク因子分解、および量子化を敵対的頑健性の制約の下で統合する統一フレームワークを設計する。
• 制約付き最小–最大問題を解く効率的な最適化アルゴリズム（ADMMベース）を開発する。
• ATMC が逐次的/素朴なベースラインよりも頑健性とサイズのトレードオフを改善するという経験的証拠を提供する。

提案手法

• ATMC を、敵対的トレーニングが境界付き摂動に対する最悪ケース損失を最小化する制約付き min–max 最適化として定式化する。
• 統一された疎性/構造制約 W = UV + C を課し、総ノンゼロ ||U||0 + ||V||0 + ||C||0 ≤ k およびノンゼロ要素ごとに |θ|0 ≤ 2^b の量子化制約を課す。
• 訓練中に学習されるビット精度パラメータ b により、ユニークな非ゼロ値の数を制約することで非一様量子化を使用。
• ADMM を適用して制約を分割し、θ、θ′、双対変数の交互更新を可能にする。量子化には ZeroKmeans ベースの射影を含む。
• 量子化を、非ゼロ重みを少数の学習済み値（0を含む）へ割り当てるクラスタリング風の射影として表現する。
• アルゴリズム概要を提供（ZeroKmeans を量子化に、疎プロジェクションで剪定、訓練中の敵対的サンプル生成）

実験結果

リサーチクエスチョン

• RQ1 単一の最適化フレームワークは、剪定、因子分解、量子化を横断してモデル圧縮と敵対的頑健性を同時に達成できるか？
• RQ2 ATMC圧縮モデルは、ベースライン（純粋な圧縮、純粋な防御、あるいは混合）と比較して頑健性-精度および圧縮のトレードオフが優れているか？
• RQ3 ATMC圧縮モデルの頑健性は、異なる敵対的攻撃者と摂動レベルに一般化可能か？

主な発見

• ATMC はモデルサイズ、精度、頑健性のトレードオフで、ベースラインの組み合わせより一貫して有利なトレードオフを達成する。
• ATMCによる結合最適化は、高圧縮比であっても良性精度と頑健性の競争力を達成できる。
• 量子化（8ビット）は、32ビットと比較して頑健性を保ちつつより積極的な圧縮を可能にする。
• ATMC圧縮モデルは、より密に訓練された敵対的モデルと比較して、より低いパラメータ数で頑健性を示す。
• ATMC での圧縮は、 naïve compression methods が観測する良性精度と攻撃後の頑健性のギャップを縮小できる。