[論文レビュー] Robustness and Accuracy Could Be Reconcilable by (Proper) Definition

Tianyu Pang, Min Lin+3 more|arXiv (Cornell University)|Feb 21, 2022

Adversarial Robustness in Machine Learning被引用数 26

ひとこと要約

本論文は SCORE を導入する self-consistent robust error を用い、局所等変性を活用して adversarial training における堅牢性と精度の整合を図り、RobustBench での強力な実証結果を示します。

ABSTRACT

The trade-off between robustness and accuracy has been widely studied in the adversarial literature. Although still controversial, the prevailing view is that this trade-off is inherent, either empirically or theoretically. Thus, we dig for the origin of this trade-off in adversarial training and find that it may stem from the improperly defined robust error, which imposes an inductive bias of local invariance -- an overcorrection towards smoothness. Given this, we advocate employing local equivariance to describe the ideal behavior of a robust model, leading to a self-consistent robust error named SCORE. By definition, SCORE facilitates the reconciliation between robustness and accuracy, while still handling the worst-case uncertainty via robust optimization. By simply substituting KL divergence with variants of distance metrics, SCORE can be efficiently minimized. Empirically, our models achieve top-rank performance on RobustBench under AutoAttack. Besides, SCORE provides instructive insights for explaining the overfitting phenomenon and semantic input gradients observed on robust models. Code is available at https://github.com/P2333/SCORE.

研究の動機と目的

• 対となる robustness–accuracy のトレードオフを動機づけ、局所的不変性によって生じるミスマッチを特定する。
• SCORE を、モデルの予測をデータ分布と一致させる自己一貫性のあるロバスト目的として提案する。
• KL 発散を距離ベースの指標に置換することで最適化を扱いやすくし、ロバスト最適化の原理を保つ。
• SCORE における過学習と意味的入力勾配に関する理論的洞察を提供する。
• CIFAR-10/100 上で標準的な AT 法より実験的に改善を示し、競争力のあるロバスト性ベンチマークを達成する。

提案手法

• 標準のロバスト誤差、Madry 式、SCORE ロバスト誤差を定義・対比し、 robustness–accuracy の緊張を説明する。
• 局所的不変性バイアスを局所等変性に置換し、p_theta*(y|x)=p_d(y|x) を目指すことで SCORE を導入する。
• KL に代えて距離指標 D を用いて SCORE を最適化できることを示し、SCORE と Madry 風の目的の境界を導出する。
• 距離ベースの SCORE が Madry および TRADES の目的とどのように関連するかを示す境界と同値性を含む理論的結果を提供する。
• 勾配データに依存せずに D の単調増加かつ凸な変種を用いて実用的な最適化を議論する。
• SCORE を既存手法（PGD-AT、TRADES）と関連付け、選択された距離 D の下でパラメータ空間における同値性を確立する。

実験結果

リサーチクエスチョン

• RQ1 SCORE は局所等変性でロバスト性とクリーンな精度を再定義することで整合を図れるか。
• RQ2 KL 発散を距離指標に置換することは最適化、境界、実験的性能にどのような影響を与えるか。
• RQ3 一般的な距離測度の下で SCORE、Madry 式の目的、TRADES の理論的関係はどうなるか。
• RQ4 SCORE はロバストモデルの過学習と意味的入力勾配に関してどんな洞察を提供するか。
• RQ5 距離ベースの SCORE 変種は標準的なベンチマークで競合するロバスト性を達成するか。

主な発見

• SCORE はデータ分布と整合する最適なロバスト解を特定し、Madry ベースのロバスト学習で生じる過剰な平滑化の因果を取り除く。
• 距離指標を用いた Madry 風の目的へ境界付けすることで、データ-スコア勾配を必要とせずに効率的な最適化を可能にする。
• 距離ベースの SCORE 変種（例えば平方誤差）は KL ベースのベースラインを上回る場合があり、堅牢性を向上させつつクリーン精度を改善することもある。
• KL を PGD-AT および TRADES で置換すると、CIFAR-10/100 のロバスト性とクリーン精度が競争力のある、あるいは優れており、通常追加計算コストを要しない場合が多い。
• SCORE に着想を得た目的と生成データを用いた実験で、AutoAttack 下で RobustBench のランキングがトップクラスに達することを示す。