[논문 리뷰] Laplacian Networks: Bounding Indicator Function Smoothness for Neural Network Robustness

Carlos Lassance, Vincent Gripon외 1명|arXiv (Cornell University)|2018. 05. 24.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 7

한 줄 요약

이 논문은 깊이 신경망의 중간 레이어 표현에서 생성된 유사도 그래프의 라플라시안 변화에 대한 큰 변화를 방지함으로써, 레이어 간 클래스 경계의 부드러움을 강제하는 새로운 정규화 기법인 라플라시안 네트워크를 제안한다. 이 방법은 적대적 공격, 등방성 노이즈, 구현 오류에 대한 강건성을 향상시키며, 기준 모델들을 능가하고 기존 기법들(예: Parseval 정규화)과 효과적으로 조합된다.

ABSTRACT

For the past few years, Deep Neural Network (DNN) robustness has become a question of paramount importance. As a matter of fact, in sensitive settings misclassification can lead to dramatic consequences. Such misclassifications are likely to occur when facing adversarial attacks, hardware failures or limitations, and imperfect signal acquisition. To address this question, authors have proposed different approaches aiming at increasing the robustness of DNNs, such as adding regularizers or training using noisy examples. In this paper we propose a new regularizer built upon the Laplacian of similarity graphs obtained from the representation of training data at each layer of the DNN architecture. This regularizer penalizes large changes (across consecutive layers in the architecture) in the distance between examples of different classes, and as such enforces smooth variations of the class boundaries. Since it is agnostic to the type of deformations that are expected when predicting with the DNN, the proposed regularizer can be combined with existing ad-hoc methods. We provide theoretical justification for this regularizer and demonstrate its effectiveness to improve robustness of DNNs on classical supervised learning vision datasets.

연구 동기 및 목표

• 깊이 신경망(DNN)의 강건성에 대한 우려가 증가하는 상황에서, 특히 잘못된 분류가 심각한 결과를 초래할 수 있는 안전 중심 응용 분야에서의 문제를 해결하기 위해.
• 기존 방법들이 노이즈나 적대적 공격에 국한되어 있음에 비해, 특정 변형 유형을 가정하지 않는 일반 목적의 정규화 기법을 개발하기 위해.
• 네트워크 레이어 간 클래스 지시 신호의 부드러움 변화 속도를 제약하여 일반화 및 안정성을 향상시키기 위해.
• 기존 강건성 기법(예: Parseval 정규화, 적대적 훈련 등)과의 모듈식 통합을 통해 호환성을 확보하기 위해.

제안 방법

• 학습 예제의 중간 표현을 사용하여 DNN의 각 레이어에서 유사도 그래프를 구성한다.
• 각 레이어의 유사도 그래프 위에 클래스 지시 신호를 그래프 신호로 정의하여, 어떤 예제가 어떤 클래스에 속하는지를 나타낸다.
• 각 레이어에서 클래스 지시 신호의 라플라시안을 계산하여 부드러움을 측정한다. 값이 클수록 클래스 경계 거리의 급격한 변화를 의미한다.
• 연속된 레이어 간 라플라시안 값의 큰 변화를 방지하는 정규화 기법을 도입함으로써, 클래스 경계의 부드러움 변화가 점진적이게 만든다.
• 표준 교차 엔트로피 손실에 더해 제안된 라플라시안 부드러움 정규화 기법을 포함한 병합 손실을 최적화하여 DNN를 훈련시킨다.
• 정규화 기법은 입력 변형 유형에 민감하지 않아 다양한 강건성 시나리오에 널리 적용 가능하다.

실험 결과

연구 질문

• RQ1 DNN 레이어 간 클래스 경계의 진화 과정에서 부드러움을 강제하면 다양한 교란 상황에서 강건성이 향상되는가?
• RQ2 Parseval 정규화나 적대적 훈련과 같은 기존 기법들과 비교해 볼 때, 제안된 라플라시안 정규화 기법은 노이즈와 공격 상황에서 어떤 강건성 성능을 보이는가?
• RQ3 제안된 정규화 기법은 다른 강건성 기법과 효과적으로 조합되어 상호 보완적인 성능 향상을 이끌 수 있는가?
• RQ4 무거운 정밀도 추론이나 뉴런 드롭아웃과 같은 구현 수준의 교란 상황에서도 성능이 유지되거나 향상되는가?

주요 결과

• 제안된 라플라시안 정규화 기법은 다양한 신호 대 노이즈 비율에서 가우시안 노이즈 상황에서도 기존의 베이스라인 및 Parseval 정규화 모델보다 훨씬 높은 테스트 정확도를 확보하였다.
• FGSM 방법을 사용한 적대적 공격 상황에서, 제안된 방법에 Parseval 정규화를 조합한 경우, 특히 입력 정규화 이후에 노이즈가 적용된 경우 가장 높은 테스트 정확도를 기록하였다.
• DeepFool 공격를 사용한 최악의 적대적 상황에서, 제안된 방법은 네트워크를 속이기 위해 훨씬 더 큰 L2 픽셀 거리를 요구하였으며, 이는 뛰어난 강건성을 의미한다.
• 40%의 뉴런 드롭아웃 상황에서도, 제안된 방법은 베이스라인 및 Parseval 정규화 네트워크보다 훨씬 높은 테스트 정확도를 유지하여 구현 오류에 대한 강력한 내성성을 입증하였다.
• 가중치를 5비트로 정밀도를 낮춘 경우(메모리 사용량 6배 감소), 제안된 방법은 모든 기준 모델보다 높은 테스트 정확도를 유지하여 저정밀도 추론 상황에서도 강건함을 입증하였다.