[논문 리뷰] Adversarial Examples, Uncertainty, and Transfer Testing Robustness in Gaussian Process Hybrid Deep Networks

John Bradshaw, Alexander Matthews외 1명|arXiv (Cornell University)|2017. 07. 08.

Gaussian Processes and Bayesian Inference참고 문헌 36인용 수 122

한 줄 요약

이 논문은 CNN 표현을 GP 상단 계층과 결합한 Gaussian Process 하이브리드 딥 네트워크(GPDNNs)를 제시하여 불확실성 보정 및 적대적 예제와 도메인 변화에 대한 강건성을 개선하고, MNIST 및 CIFAR-10에서 평가합니다. GPDNNs는 특히 도메인 전이 하에서 표준 NN보다 더 나은 불확실성 및 탄력성을 보입니다.

ABSTRACT

Deep neural networks (DNNs) have excellent representative power and are state of the art classifiers on many tasks. However, they often do not capture their own uncertainties well making them less robust in the real world as they overconfidently extrapolate and do not notice domain shift. Gaussian processes (GPs) with RBF kernels on the other hand have better calibrated uncertainties and do not overconfidently extrapolate far from data in their training set. However, GPs have poor representational power and do not perform as well as DNNs on complex domains. In this paper we show that GP hybrid deep networks, GPDNNs, (GPs on top of DNNs and trained end-to-end) inherit the nice properties of both GPs and DNNs and are much more robust to adversarial examples. When extrapolating to adversarial examples and testing in domain shift settings, GPDNNs frequently output high entropy class probabilities corresponding to essentially "don't know". GPDNNs are therefore promising as deep architectures that know when they don't know.

연구 동기 및 목표

• 실제 환경 배치를 위한 딥 모델의 잘 보정된 불확실성의 필요성을 제시한다.
• CNN 표현과 Bayesian 불확실성을 결합하기 위해 end-to-end로 학습되는 Gaussian Processes atop deep networks인 GPDNNs를 제안한다.
• vanilla CNN과 비교하여 GPDNN의 분류 성능, 적대적 강건성, 전이 테스트를 평가한다.
• 도메인 변화 하에서 더 나은 불확실성 추정과 강건성을 제공한다는 점을 입증한다.

제안 방법

• variational inducing points를 사용한 GP 상단 계층으로 CNN으로 구조화된 GPDNN를 end-to-end 학습한다.
• 유도 포인트에 대해 log p(Y) ≥ sum_y,x∈Y E_q(f_x)[log p(y|f_x)] − KL(q(f_Z)||p(f_Z))의 변분 하한을 사용한다.
• 멀티클래스 분류에 대해 표준 소프트맥스 대신 robust max likelihood(robustmax)를 적용한다.
• GP 구성 요소를 통해 역전파가 가능하도록 TensorFlow와 GPflow로 end-to-end 학습한다.
• 아키텍처 A(NN), B(NN에 추가 계층), C(GPDNN)을 MNIST 및 CIFAR-10 데이터 세트에서 비교한다.
• 정확도와 log-가능도(log-likelihood)로 평가하고 FGSM 및 Carlini–Wagner L2 공격에 대한 강건성 및 도메인 밖 숫자 데이터 세트로의 전이도 분석한다.

실험 결과

연구 질문

• RQ1 GPDNN가 더 나은 보정된 불확실성을 제공하면서 경쟁력 있는 분류 정확도를 달성할 수 있는가?
• RQ2 GPDNN가 표준 CNN에 비해 적대적 섭동에 대한 강건성이 증가하는가?
• RQ3 도메인 밖 이미지 데이터 세트로의 전이에서 GPDNN가 도메인 변화에 더 강건한가?
• RQ4 GPDNN의 불확실성 척도(예측 엔트로피/로그 가능도)가 적대적 상황 및 전이 설정에서 어떻게 나타나는가?

주요 결과

• GPDNN은 MNIST에서 표준 NN보다 오류율이 낮고 로그 가능도가 더 높아지며, 특히 학습 데이터가 제한적일 때 이점이 두드러진다.
• CIFAR-10에서는 GPDNN가 정확도와 로그 가능도에서 미세한 개선을 보이고, 더 깊은 기반 네트워크가 학습 역학에 이점을 준다.
• MNIST의 FGSM 적대적 섭동 하에서 GPDNN은 오류 및 로그 가능도의 감소 속도가 느리고 불확실한 영역에서 예측 엔트로피가 더 높게 나타난다.
• CW L2 공격에 대해 많은 GPDNN 섭동들이 모델을 속이지 못하는 경향이 있어 강건성이 향상되었음을 시사한다.
• ANOMNIST, Semeion, SVHN으로의 전이 테스트에서 GPDNN은 일반 NN보다 로그 가능도가 더 높거나 과신이 덜한 경향을 보이며 도메인 변화 처리에 더 나은 성능을 시사한다.