[논문 리뷰] Characterizing the Decision Boundary of Deep Neural Networks

Hamid Reza Karimi, Tyler Derr외 1명|arXiv (Cornell University)|2019. 12. 24.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 48

한 줄 요약

논문은 오토인코더 기반의 표적적 적대적 예제와 이진 정제를 사용하여 DNN 의사결정 경계 근처에서 경계 인스턴스를 생성하는 DeepDIG 프레임워크를 소개한다. 이는 입력 공간과 임베딩 공간의 경계 복잡성을 특징화한다.

ABSTRACT

Deep neural networks and in particular, deep neural classifiers have become an integral part of many modern applications. Despite their practical success, we still have limited knowledge of how they work and the demand for such an understanding is evergrowing. In this regard, one crucial aspect of deep neural network classifiers that can help us deepen our knowledge about their decision-making behavior is to investigate their decision boundaries. Nevertheless, this is contingent upon having access to samples populating the areas near the decision boundary. To achieve this, we propose a novel approach we call Deep Decision boundary Instance Generation (DeepDIG). DeepDIG utilizes a method based on adversarial example generation as an effective way of generating samples near the decision boundary of any deep neural network model. Then, we introduce a set of important principled characteristics that take advantage of the generated instances near the decision boundary to provide multifaceted understandings of deep neural networks. We have performed extensive experiments on multiple representative datasets across various deep neural network models and characterized their decision boundaries. The code is publicly available at https://github.com/hamidkarimi/DeepDIG/.

연구 동기 및 목표

• 안전 및 보안 응용을 위한 심층 신경망 의사결정 경계 연구 동기 부여.
• 의사결정 경계 근처의 샘플을 실제 데이터와 유사하게 생성하는 방법 개발.
• 입력 공간과 임베딩 공간 모두에서 의사결정 경계의 기하학 및 복잡성 특성화.
• 여러 데이터셋과 모델에 걸친 지표 및 실험적 증거 제공.

제안 방법

• 두 클래스 사이의 경계 인스턴스를 생성하기 위한 3-요소 파이프라인 제안.
• 구성요소 I: 재구성과 교차 엔트로피를 결합한 오토인코더 기반 손실을 통해 클래스 s에서 클래스 t로 대상 적대적 예제를 생성.
• 구성요소 II: 첫 번째 구성요소의 출력으로부터 역방향 대상적 적대적 예제를 생성하여 샘플을 다시 클래스 s 쪽으로 밀기.
• 구성요소 III: 두 적대적 샘플 사이의 이진 탐색으로 경계 근처의 샘플(클래스 확률이 거의 같아지는 지점을 위치) 정제.
• 경계 관련 지표 정의 및 계산: (a) 경계의 입력 공간 복잡도는 경계 샘플 간의 궤적에서의 진동으로, (b) 임베딩 공간 복잡도는 학습된 선형 SVM으로 임베딩의 선형 분리 가능성으로.

실험 결과

연구 질문

• RQ1 두 클래스로 구분된 사전 학습된 DNN에서 의사결정 경계에 근접한 샘플을 어떻게 생성할 수 있는가?
• RQ2 입력 공간과 임베딩 공간의 경계 복잡성을 정량화하는 효과적인 지표는 무엇인가?
• RQ3 입력 공간의 경계선 근처 샘플이 임베딩 공간에서도 유사하게 정보가 풍부한 구조에 대응하는가?
• RQ4 제안된 경계 중심 샘플이 데이터 세트와 아키텍처에 걸쳐 DNN 의사결정 영역의 기하학적 특성을 드러낼 수 있는가?

주요 결과

• DeepDIG는 MNIST, FashionMNIST, CIFAR-10 간의 클래스 쌍에 대해 의사결정 경계에 가까운 경계 인스턴스를 생성할 수 있다.
• 경계 인스턴스가 경계 양쪽에서 생성되어 경계의 기하학을 분석할 수 있다.
• 임베딩 공간 분석은 경계 인스턴스에 대해 임베딩의 선형 분리가 지속됨을 보여주어 임베딩 공간 복잡도 지표를 가능하게 한다.
• 두 임베딩 공간 지표(EDC1 및 EDC2)는 경계 샘플이 분리 초평면에 얼마나 가까운지와 선형 분류기가 이를 얼마나 잘 분리할 수 있는지에 대한 통찰을 제공한다.
• 실험은 여러 네트워크에서 입력 공간과 임베딩 공간 경계 복잡도 측정치 간의 일관성을 보여준다.