[논문 리뷰] Laplacian Power Networks: Bounding Indicator Function Smoothness for Adversarial Defense.

Carlos Lassance, Vincent Gripon외 1명|arXiv (Cornell University)|2018. 05. 24.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 깊이 신경망의 연속된 레이어 간의 이종 간격 변화를 억제함으로써 클래스 경계의 스무딩을 강제하는 새로운 정규화 기법인 Laplacian Power Networks를 소개한다. 이는 유사도 그래프의 라플라시안을 통해 실시된다. 이 방법은 특정 공격 유형에 의존하지 않고 표준 시각 벤치마크에서 적대적 공격에 대한 강건성을 향상시킨다.

ABSTRACT

For the past few years, Deep Neural Network (DNN) robustness has become a question of paramount importance. As a matter of fact, in sensitive settings misclassification can lead to dramatic consequences. Such misclassifications are likely to occur when facing adversarial attacks, hardware failures or limitations, and imperfect signal acquisition. To address this question, authors have proposed different approaches aiming at increasing the robustness of DNNs, such as adding regularizers or training using noisy examples. In this paper we propose a new regularizer built upon the Laplacian of similarity graphs obtained from the representation of training data at each layer of the DNN architecture. This regularizer penalizes large changes (across consecutive layers in the architecture) in the distance between examples of different classes, and as such enforces smooth variations of the class boundaries. Since it is agnostic to the type of deformations that are expected when predicting with the DNN, the proposed regularizer can be combined with existing ad-hoc methods. We provide theoretical justification for this regularizer and demonstrate its effectiveness to improve robustness of DNNs on classical supervised learning vision datasets.

연구 동기 및 목표

• 적대적 공격, 하드웨어 장애 및 신호 왜곡에 대한 딥 네트워크의 강건성을 향상시키기 위해.
• 기존의 강건성 방법이 특정 공격 유형이나 노이즈 패턴에 의존하는 일반화 부족 문제를 해결하기 위해.
• 그래프 기반 정규화를 통해 네트워크 레이어 간의 결정 경계에 연속적인 변화를 강제하기 위해.
• 변형 유형에 관계없이 일반화 가능하고 기존 방어 기법과 호환되는 정규화 기법을 개발하기 위해.
• 제안된 정규화 기법에 대한 이론적 근거와 표준 시각 데이터셋에서의 실증적 검증을 제공하기 위해.

제안 방법

• 딥 네트워크의 각 레이어에서 훈련 데이터의 표현에서 유사도 그래프를 구성하며, 특징 임bedding을 노드로 사용한다.
• 유사도 그래프의 라플라시안 행렬을 계산하여 데이터 표현의 국소적 스무딩 정도를 정량화한다.
• 연속된 레이어 간의 서로 다른 클래스의 예제들 사이의 라플라시안 유도 거리 변화가 크지 않도록 하는 정규화 기법을 제안한다.
• 정규화 기법을 훈련 목표에 통합하여 결정 경계 기하학의 스무딩된 전이를 장려한다.
• 그래프 라플라시안을 사용하여 데이터의 내재 다양체 구조를 암묵적으로 모델링함으로써 소규모 변형에 대한 강건성을 증진시킨다.
• 이 방법이 아키텍처에 관계없이 적용 가능하며 기존의 적대적 훈련 또는 데이터 증강 기법과 함께 사용 가능하도록 보장한다.

실험 결과

연구 질문

• RQ1 네트워크 레이어 간의 이종 간격에 대한 스무딩을 강제하면 적대적 공격에 대한 강건성이 향상되는가?
• RQ2 표준 정규화 기법과 비교해 그래프 기반 라플라시안 정규화는 다양한 적대적 공격에 대해 어떻게 방어 성능을 발휘하는가?
• RQ3 제안된 정규화 기법은 다양한 네트워크 아키텍처와 데이터셋에 대해 일반화 가능한가?
• RQ4 기존의 방어 전략과 함께 사용할 수 있으며 성능 저하 없이 통합 가능한가?
• RQ5 라플라시안 정규화가 DNN 강건성을 향상시키는 데 효과적인 이론적 근거는 무엇인가?

주요 결과

• 제안된 Laplacian Power Networks 정규화 기법은 CIFAR-10 및 ImageNet과 같은 표준 시각 벤치마크에서 적대적 공격에 대한 강건성을 크게 향상시킨다.
• PGD 및 AutoAttack과 같은 다양한 적대적 공격 유형에 대해 정규화 기법이 공격 유형에 특화된 튜닝 없이도 개선된 강건성 정확도를 달성한다.
• 기존의 표준 적대적 훈련과 함께 사용되어도 효과적이며, 호환성과 누적적 이점을 보여준다.
• 이론적 분석은 정규화 기법이 결정 경계 변동을 제약하여 더 스무딩되고 안정적인 예측을 가능하게 함을 지지한다.
• 실증 결과는 정규화 기법이 레이어 간의 특징 표현에서 기하학적 일관성을 강제함으로써 소규모 입력 변형에 대한 민감도를 감소시킴을 보여준다.
• 이 방법은 다양한 네트워크 아키텍처에 대해 잘 일반화되며, 아키텍처 설계 선택에 대한 강건성을 보여준다.