[논문 리뷰] Predicting Adversarial Examples with High Confidence

Angus Galloway, Graham W. Taylor외 1명|arXiv (Cornell University)|2018. 02. 13.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 4

한 줄 요약

이 논문은 과도하게 확신하는 딥러닝 모델이 적대적 예제에 더 취약하다고 주장하며, 특히 저해상도 표현을 통한 강력한 정규화가 탐색되지 않은 표현 공간을 줄여 안정성을 높인다고 제안한다. 저해상도 모델(예: 1비트 가중치)이 데이터 증강 없이도 전체 정밀도 모델보다 자연적 정확도를 유지하면서 적대적 공격에 더 강하다는 것을 입증하며, 데이터 증강 없이도 방어할 수 있는 길을 제시한다.

ABSTRACT

It has been suggested that adversarial examples cause deep learning models to make incorrect predictions with high confidence. In this work, we take the opposite stance: an overly confident model is more likely to be vulnerable to adversarial examples. This work is one of the most proactive approaches taken to date, as we link robustness with non-calibrated model confidence on noisy images, providing a data-augmentation-free path forward. The adversarial examples phenomenon is most easily explained by the trend of increasing non-regularized model capacity, while the diversity and number of samples in common datasets has remained flat. Test accuracy has incorrectly been associated with true generalization performance, ignoring that training and test splits are often extremely similar in terms of the overall representation space. The transferability property of adversarial examples was previously used as evidence against overfitting arguments, a perceived random effect, but overfitting is not always random.

연구 동기 및 목표

• 높은 신뢰도 예측이 안정성을 의미한다는 가정을 도전하며, 과도한 확신이 적대적 취약성과 관련이 있음을 주장한다.
• 데이터 증강 없이도 저해상도 표현을 통한 정규화가 안정성을 향상시킬 수 있는지 조사한다.
• 기존 정규화 방법(예: 가중치 감쇠)과 비교해 저해상도 표현의 정규화 효과가 모델 취약성 감소에 얼마나 효과적인지 평가한다.
• RBF 네트워크 같은 일반화되지 않는 방법에 의존하지 않고 '혼란스러운 클래스' 예시(예: 무작위 노이즈)를 방어한다.
• 작고 잘 정규화된 모델이 높은 자연적 정확도를 유지하면서도 적대적 편향에 더 강하다는 것을 입증한다.

제안 방법

• 저자들은 가중치(W), 활성화(A), 기울기(G)의 정밀도를 다양하게 조절한 ResNet-18 모델을 훈련하며, 1비트, 2비트, 3비트, 전체 32비트 정밀도를 포함한다.
• ImageNet과 CIFAR-10에서 FGSM 공격를 사용해 점차 증가하는 편향 크기(ε = 2, 4, 8)로 안정성 평가를 수행하며, 상위-1 및 상위-5 오차율을 측정한다.
• 데이터 증강 없이도 모델 용량과 정규화의 영향을 분리하기 위해 실험를 수행하며, 저해상도 모델을 전체 정밀도 모델 및 강한 L2 가중치 감쇠를 적용한 모델과 비교한다.
• 결과적으로 청소된 테스트 정확도와 적대적 안정성을 평가한다.
• 결정 경계의 기하학적 특성과 탐색되지 않은 표현 공간의 엔트로피를 분석하여 안정성의 차이를 설명한다.
• RBF 네트워크에 의존하지 않고 저해상도 모델을 사용해 '쓰레기 클래스' 예시(예: 무작위 노이즈)를 방어한다.

실험 결과

연구 질문

• RQ1 데이터 증강 없이도 모델 정밀도를 낮추는 것이 적대적 예제에 대한 안정성을 향상시키는가?
• RQ2 무작위 노이즈가 없더라도 딥러닝 모델의 적대적 취약성은 과도한 확신과 과적합과 관련이 있는가?
• RQ3 기존 정규화 방법(예: 가중치 감쇠)과 비교해 저해상도 표현은 적대적 안정성을 얼마나 향상시키는가?
• RQ4 저해상도 모델은 일반화되지 않는 아키텍처에 의존하지 않고도 무작위 노이즈 같은 비예시에 대해 방어할 수 있는가?
• RQ5 강력한 정규화를 통해 저해상도로 표현 공간을 줄여 탐색되지 않은 영역의 엔트로피를 증가시켜 안정성을 향상시키는가?

주요 결과

• 저해상도 모델(예: 1비트 가중치)은 전체 정밀도 모델보다 적대적 공격 하에서 더 높은 자연적 테스트 정확도를 달성했으며, ε=8 FGSM 공격 하에서 ImageNet에서 59.6%의 상위-1 오차율을 기록했다.
• 가중치 정밀도를 1비트로 낮추고 활성화는 2비트로 유지했을 때, ε=8 FGSM 공격 하에서 상위-1 오차율이 59.6%에서 50.2%로 감소하여 안정성이 향상됨을 보여주었다.
• 1비트 가중치와 1비트 활성화를 사용한 모델는 ImageNet에서 청소된 상위-1 정확도 96.8%를 유지하면서도 ε=8 FGSM 공격 하에서 오직 98.4%의 오차율을 기록하여 강력한 안정성을 보였다.
• 전체 정밀도 모델은 강력한 L2 감쇠에 취약했으며, L2 감쇠를 두 계단 증가시켰을 때 테스트 정확도가 30% 이하로 떨어졌다.
• 저해상도 모델은 데이터 증강 없이도 상태 기준 모델을 초월하는 성능을 보였으며, 동일한 위협 모델 하에서 더 뛰어난 안정성을 확보했다.
• 결과적으로 저해상도 표현은 탐색되지 않은 표현 공간을 줄이고, 탐색되지 않은 영역의 엔트로피를 증가시켜 적대적 예제의 성공 가능성을 낮춘다.