[論文レビュー] A Closer Look at Accuracy vs. Robustness

Yao-Yuan Yang, Cyrus Rashtchian+3 more|arXiv (Cornell University)|Mar 5, 2020

Adversarial Robustness in Machine Learning参考文献 73被引用数 83

ひとこと要約

この論文は、堅牢性と精度は本質的に相容れないわけではなく、局所リプシッツ関数を用いることで実データ画像で達成可能であると主張する。現在の手法がうまく機能しない理由を分析し、ドロップアウトが堅牢な学習と組み合わせると一般化性能を向上させ得ることを示す。

ABSTRACT

Current methods for training robust networks lead to a drop in test accuracy, which has led prior works to posit that a robustness-accuracy tradeoff may be inevitable in deep learning. We take a closer look at this phenomenon and first show that real image datasets are actually separated. With this property in mind, we then prove that robustness and accuracy should both be achievable for benchmark datasets through locally Lipschitz functions, and hence, there should be no inherent tradeoff between robustness and accuracy. Through extensive experiments with robustness methods, we argue that the gap between theory and practice arises from two limitations of current methods: either they fail to impose local Lipschitzness or they are insufficiently generalized. We explore combining dropout with robust training methods and obtain better generalization. We conclude that achieving robustness and accuracy in practice may require using methods that impose local Lipschitzness and augmenting them with deep learning generalization techniques. Code available at https://github.com/yangarbiter/robust-local-lipschitz

研究の動機と目的

• 実データセットがクラス分離（r-separation）を示すか経験的に評価する。
• 理論的にr-separationと局所リプシッツ性を結びつけ、堅牢で正確な分類器の存在を示す。
• 現行の堅牢化手法（AT, TRADES, RST）が局所リプシッツ性と一般化ギャップの観点でどのように機能するかを評価する。
• 標準的な一般化技術（例：ドロップアウト）が一般化ギャップを縮小し堅牢性を改善できるかを調べる。
• 堅牢性と精度を同時に促進する学習プロセスの設計に関する指針を提供する。

提案手法

• 距離尺度を用いた実データセットにおけるr-separationを定義・分析する。
• 局所リプシッツ関数を丸めることにより、r-separatedデータ上で radius r における鋭さ astuteness 1 の分類器の存在を示す。
• MNIST、SVHN、CIFAR-10、Restricted ImageNet で局所リプシッツ性と一般化ギャップに焦点を当てて堅牢性手法（AT、RST、TRADES）を経験的に評価する。
• PGD様の手法によって経験的な局所リプシッツ定数を測定し、分類器の滑らかさを評価する。
• ロバスト性、精度、リプシッツ性への影響を検証するため、ドロップアウトを一般化技術として用いる実験を行う。

実験結果

リサーチクエスチョン

• RQ1 実データセットはクラス間のr-separationを示すのか。
• RQ2 r-separated分布は局所リプシッツ丸め関数によって堅牢で正確な分類器を生み出すのか。
• RQ3 現実的な堅牢性手法が理論に比べて劣る理由は、局所リプシッツ性の制限か、一般化の不足か。
• RQ4 堅牢な学習にドロップアウトを追加すると一般化ギャップを縮小し堅牢性と精度が向上するのか。
• RQ5 現在の堅牢性手法は、局所的な平滑性、堅牢性、一般化のバランスを標準的なベンチマークでどう取っているのか。

主な発見

• 実データセット（MNIST、CIFAR-10、SVHN、Restricted ImageNet）は、堅牢性実験で典型的な摂動半径に対してr-separationである。
• 局所リプシッツ性を持つ関数が丸めによってradius rで astuteness 1 の分類器を得られ、原理的には堅牢性と精度が共存しうることを示す。
• Adversarial Training (AT)、Robust Self-Training (RST)、TRADESは強い局所リプシッツ性と堅牢性を課すが、一般化ギャップが大きい。
• ドロップアウトは一般化ギャップを縮小し、堅牢な手法と組み合わせるとクリーンおよび敵対的テスト精度の双方を改善し得る。
• AT/RST/TRADESはより滑らかな分類器を達成するが、一般化はしばしば不十分。ドロップアウトはこれを和らげ、さらなる滑らかさをもたらす可能性がある。