[논문 리뷰] Robustness May Be at Odds with Accuracy

Dimitris Tsipras, Shibani Santurkar외 3명|arXiv (Cornell University)|2018. 05. 30.

Adversarial Robustness in Machine Learning참고 문헌 63인용 수 371

한 줄 요약

이 논문은 적대적 강건성과 표준 정확도 사이의 근본적인 트레이드오프를 입증하고, 강건성을 향상시키면 전통적 정확도가 감소할 수 있으며, 강건성이 인간에 맞춘 다른 특징들을 학습한다는 점을 보여준다. 또한 강건성의 이점과 적대적 학습의 필요성에 대해 논의한다.

ABSTRACT

We show that there may exist an inherent tension between the goal of adversarial robustness and that of standard generalization. Specifically, training robust models may not only be more resource-consuming, but also lead to a reduction of standard accuracy. We demonstrate that this trade-off between the standard accuracy of a model and its robustness to adversarial perturbations provably exists in a fairly simple and natural setting. These findings also corroborate a similar phenomenon observed empirically in more complex settings. Further, we argue that this phenomenon is a consequence of robust classifiers learning fundamentally different feature representations than standard classifiers. These differences, in particular, seem to result in unexpected benefits: the representations learned by robust models tend to align better with salient data characteristics and human perception.

연구 동기 및 목표

• 표준 일반화와 적대적 강건성 간의 잠재적 충돌을 동기부여하고 형식화한다.
• 간단한 분포 모델을 통해 표준 정확도가 높을수록 적대적 강건성이 저하되고 그 역도 마찬가지임을 보인다.
• 비다양성 설정에서의 강건성 달성에 있어 적대적 학습의 역할과 그것이 정확도에 미치는 영향을 보여준다.
• 강건성의 정성적 이점, 인간이 인지하는 표현과 해석 가능한 그래디언트 등을 탐구한다.

제안 방법

• 강하게 예측하는 특징 하나와 약하게 예측하는 특징이 다수 있는 간단한 이진 분류 데이터 모델을 도입한다.
• 고전적 강건-정확도 트레이드오프 한계를 증명하여, 표준 정확도가 높으면 l_infty 섭동에서(ε ≥ 2η) 강건 정확도가 낮아짐을 보인다.
• 표준 정확도가 100%에 근접한 분류기는 적대적 섭동에 취약한 비강건한 특징에 의존해야 함을 보여준다.
• 이 설정에서 비다시강건한 비전형적인 강건 정확도를 얻기 위해서는 적대적 학습이 필요하다는 정리를 제시한다.
• MNIST에 대한 실증적 조사에서 비슷한 트레이드오프와 특징 사용이 나타남을 보인다.
• 표준 모델과 강건 모델의 손실 그래디언트를 시각화하여 성능 차이를 비교한다.

실험 결과

연구 질문

• RQ1 표준 정확도와 적대적 강건성 사이에 고유한 트레이드오프가 존재하는가?
• RQ2 왜 때때로 적대적 강건성이 표준 정확도를 감소시키는가? 이것이 불가피한가, 아니면 학습 방법 때문인가?
• RQ3 강건한 모델이 표준 모델과 비교하여 더 인간에 맞춘 서로 다른 특징을 학습하는가?
• RQ4 적대적 학습이 모든 표준 정확도를 희생하지 않고도 강건성을 실질적으로 향상시킬 수 있는가?

주요 결과

• 단순하고 자연스러운 데이터 분포에서 강건-정확도 트레이드오프가 존재하며 이론적으로도 성립함을 보일 수 있다(Theorem 2.1).
• 1−δ 표준 정확도를 달성하는 어떤 분류기도 l_infty 섭동에서 ε ≥ 2η일 때 강건 정확도는 최대 (p/(1−p))·δ일 수 있으며, 이는 거의 100%의 표준 정확도가 거의 0의 강건 정확도로 이어짐(p=0.95 예: 99% 표준 정확도 ⇒ ≤19% 강건).
• 강건 학습의 중요성: 강건성을 위해 학습된 소프트 마진 SVM은 비트관계가 아닌 강건 정확도를 달성하며, 표준 학습은 높은 표준 정확도는 얻지만 적대적 정확도는 낮다(ε ≥ 2η일 때).
• 강건한 분류기와 표준 분류기가 서로 다른 특징 세트에 의존한다; 강건한 특징은 섭동에 덜 취약하여 트레이드오프를 설명한다.
• MNIST에 대한 실증에서 표준 모델은 약하게 상관된 특징을 사용하고 강건 모델은 더 강건한 특징에 집중하며, 강건 그래디언트는 인간 지각 특징과 더 잘 맞춘다.
• 강건한 섭동은 식별 가능한 데이터 특성을 가진 adversarial 예제를 생성하고, 원래 예제와 큰 ε의 adversarial 예제 사이의 부드러운 클래스 간 보간이 GAN 유사한 궤적을 보인다.