[論文レビュー] Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference

Ting-Kuei Hu, Tianlong Chen+2 more|arXiv (Cornell University)|Feb 24, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用数 35

ひとこと要約

Robust Dynamic Inference Networks (RDI-Nets) を用いたマルチエグジット早分岐出力で、各入力を適応的にルーティングし、精度と頑健性を向上させつつ、推論の大幅な節約を実現します。

ABSTRACT

Deep networks were recently suggested to face the odds between accuracy (on clean natural images) and robustness (on adversarially perturbed images) (Tsipras et al., 2019). Such a dilemma is shown to be rooted in the inherently higher sample complexity (Schmidt et al., 2018) and/or model capacity (Nakkiran, 2019), for learning a high-accuracy and robust classifier. In view of that, give a classification task, growing the model capacity appears to help draw a win-win between accuracy and robustness, yet at the expense of model size and latency, therefore posing challenges for resource-constrained applications. Is it possible to co-design model accuracy, robustness and efficiency to achieve their triple wins? This paper studies multi-exit networks associated with input-adaptive efficient inference, showing their strong promise in achieving a "sweet point" in cooptimizing model accuracy, robustness and efficiency. Our proposed solution, dubbed Robust Dynamic Inference Networks (RDI-Nets), allows for each input (either clean or adversarial) to adaptively choose one of the multiple output layers (early branches or the final one) to output its prediction. That multi-loss adaptivity adds new variations and flexibility to adversarial attacks and defenses, on which we present a systematical investigation. We show experimentally that by equipping existing backbones with such robust adaptive inference, the resulting RDI-Nets can achieve better accuracy and robustness, yet with over 30% computational savings, compared to the defended original models.

研究の動機と目的

• 高精度、敵対的攻撃への頑健性、計算効率の3重の課題を深層ネットワークで達成する動機づけ。
• マルチエ Exit ネットワークを用いた入力適応型ダイナミック推論を導入し、早期出口と計算節約を実現。
• マルチ出力アーキテクチャに対する攻撃と防御を体系的に研究し、セキュリティ影響を理解。
• RDI-Nets がベンチマークのバックボーンで同時に精度・頑健性・効率を向上させることを示す。

提案手法

• 任意のバックボーン(例: ResNet, MobileNet) を K 個のサイド出口ブランチと共用重みでネストされた形で拡張する。
• ソフトマックスエントロピーが十分に低い最初の出口で計算を終了させる信頼度ベースの早 exit 戦略を用いる。
• L_RDI というマルチエ Exit 学習目的を定義し、すべての出口の損失を重み w_i で結合し、クリーンな例と対敵的な例の両方を取り込む。
• マルチ出力ネットワークに対して3種類の攻撃を定式化・評価する: 各ブランチの単一出力攻撃、すべてのブランチの平均攻撃、単一ブランチ攻撃を組み合わせた最大-平均攻撃。
• 訓練データを対敵的な例で増強して対敵訓練を行い、3つの攻撃形式から生成した対敵例を用いて防御を強化する; 出口間で共有パラメータを更新する。
• RDI-Nets を防御付きのベースラインおよび防御付きの疎化/圧縮モデルと比較し、TA、ATA、MFlops を評価する。

実験結果

リサーチクエスチョン

• RQ1 入力適応型のマルチエ Exit ネットワークは、精度・頑健性・効率のトリプル勝利を実現できるか？
• RQ2 異なる敵対的攻撃の定式化がマルチ出力アーキテクチャとどのように相互作用し、これらの形態で防御はどれほど有効か？
• RQ3 RDI-Nets は静的な頑健モデルと比較して、性能を犠牲にせず現実的な計算節約を提供するか？
• RQ4 RDI-Nets のパフォーマンスは標準的なベンチマーク上の防御付き疎化/圧縮ベースラインと比較してどうか？
• RQ5 クリーン入力と敵対的入力での出口パターンの挙動は RDI-Nets でどうなるか？

主な発見

モデル	データセット	防御	攻撃	TA	ATA	MFlops
SmallCNN	MNIST	PGD-40	PGD-40	99.49%	96.31%	9.25
ResNet-38	CIFAR-10	PGD-10	PGD-20	83.62%	42.29%	79.42
MobileNetV2	CIFAR-10	PGD-10	PGD-20	84.42%	46.92%	86.91

• RDI-Nets はベンチマークのバックボーンで推論計算を約30%節約しつつ、精度と頑健性を向上させる。
• SmallCNN を用いた MNIST で、Max-Average 防御を備えた防御済み RDI-Nets は、TA および ATA の基準を上回りつつ計算を約34%削減。
• CIFAR-10 で ResNet-38 および MobileNet-V2 を用いた場合、Max-Average 防御は最悪ケースの攻撃下で ATA の利得を大きくし、ベースラインより高い TA を維持しつつ、顕著な MFLOP 節約を達成。
• 防御済みの疎化プルーニングベースラインと比較して、RDI-Nets は同等かそれ以上の ATA を、同程度かそれ以上の TA、競争力の MFlops で提供。
• ランダム攻击および一般的な攻撃（FGSM, WRM）全体で、RDI-Nets は一般化された頑健性の改善を示し、効率性の利益を維持。
• 可視化は、Average/Max-Average 防御下で複数の出口の利用がより均等になり、敵対的な経路選択への耐性に寄与していることを示唆。