[논문 리뷰] Robustness and Accuracy Could Be Reconcilable by (Proper) Definition

Tianyu Pang, Min Lin외 3명|arXiv (Cornell University)|2022. 02. 21.

Adversarial Robustness in Machine Learning인용 수 26

한 줄 요약

본 논문은 로컬 등가성을 이용한 자기 일관 강건 오차(SCORE)를 도입하여 적대적 훈련에서 강인성과 정확도 를 조율하고, RobustBench에서 강력한 실험 결과를 제시한다.

ABSTRACT

The trade-off between robustness and accuracy has been widely studied in the adversarial literature. Although still controversial, the prevailing view is that this trade-off is inherent, either empirically or theoretically. Thus, we dig for the origin of this trade-off in adversarial training and find that it may stem from the improperly defined robust error, which imposes an inductive bias of local invariance -- an overcorrection towards smoothness. Given this, we advocate employing local equivariance to describe the ideal behavior of a robust model, leading to a self-consistent robust error named SCORE. By definition, SCORE facilitates the reconciliation between robustness and accuracy, while still handling the worst-case uncertainty via robust optimization. By simply substituting KL divergence with variants of distance metrics, SCORE can be efficiently minimized. Empirically, our models achieve top-rank performance on RobustBench under AutoAttack. Besides, SCORE provides instructive insights for explaining the overfitting phenomenon and semantic input gradients observed on robust models. Code is available at https://github.com/P2333/SCORE.

연구 동기 및 목표

• 적대적 학습에서 강건성-정확도 간의 트레이드오프를 고무하고, 로컬 불변성(local invariance)으로 인한 불일치를 식별한다.
• 데이터 분포와 모델 예측을 일치시키는 자기 일관 강건 목적 함수로 SCORE를 제안한다.
• KL 발산을 거리 기반 지표로 대체하면 최적화가 해석적으로 가능하고 강건 최적화 원리를 보존함을 보인다.
• SCORE 하에서 과적합 및 의미론적 입력 그래디언트에 대한 이론적 통찰을 제공한다.
• CIFAR-10/100에서 표준 AT 방법들에 비해 실험적으로 개선을 보이고 경쟁력 있는 강건성 벤치마크를 보여준다.

제안 방법

• 표준, Madry, SCORE 로버스트 오차를 정의하고 비교하여 강건성–정확도 간의 긴장을 설명한다.
• 로컬 불변성 바이어스를 로컬 등가성으로 대체하여 p_theta*(y|x)=p_d(y|x)를 목표로 SCORE를 도입한다.
• SCORE를 KL 대신 거리 지표 D를 사용하여 최적화할 수 있음을 보이고 SCORE와 Madry 스타일 목표 간의 상한/하한 관계를 도출한다.
• 거리 기반 SCORE가 Madry 및 TRADES 목표와 어떻게 관계하는지 보여주는 이론적 결과(경계와 동등성)를 제시한다.
• 데이터-점수 그래디언트가 필요 없도록 D의 단조 증가하는 볼록 변형을 사용한 실용적 최적화에 대해 논의한다.
• SCORE를 기존 방법(PGD-AT, TRADES)과 연결하고 선택한 거리 지표 D 하에서 매개변수 공간의 동등성을 확립한다.

실험 결과

연구 질문

• RQ1 SCORE가 로컬 등가성을 가진 강건한 목적 함수를 재정의함으로써 강건성와 순수 정확도(청정 정확도)를 조화시킬 수 있는가?
• RQ2 KL 발산을 거리 지표로 대체하는 것이 최적화, 경계 및 실험적 성능에 어떤 영향을 미치는가?
• RQ3 일반 거리 측정하에서 SCORE, Madry 스타일 목표, TRADES 간의 이론적 관계는 무엇인가?
• RQ4 강건 모델에서 과적합 및 의미적 입력 그래디언트에 대해 SCORE가 제공하는 통찰은 무엇인가?
• RQ5 거리 기반 SCORE 변형이 표준 벤치마크에서 경쟁력 있는 강건성을 달성하는가?

주요 결과

• SCORE는 최적의 강건 솔루션을 데이터 분포와 일치시키며 Madry 기반 강건 학습에서 과도한 완화(smoothing)를 야기하는 고유한 편향을 제거한다.
• 거리 지표를 이용한 Madry 유사 목표를 통해 SCORE를 경계화하면 데이터-점수 그래디언트 없이도 효율적인 최적화가 가능하다.
• 거리 기반 SCORE 변형(예: 제곱 오차)은 강건성에서 KL 기반 기준선보다 우수하고 때로는 순수 정확도도 향상시킨다.
• PGD-AT 및 TRADES에서 KL을 SE로 교체하면 CIFAR-10/100에서 경쟁력 있거나 우수한 강건성과 순정확도를 얻으며, 종종 추가 계산 비용 없이 가능하다.
• 실험은 SCORE 유도 목표와 생성된 데이터를 사용할 때 AutoAttack 하에서 RobustBench 상위 순위를 보여준다.