[논문 리뷰] On the Decision Boundary of Deep Neural Networks

Li Yu, Lizhong Ding외 1명|arXiv (Cornell University)|2018. 08. 16.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 31

한 줄 요약

이 논문은 약한 가정 하에, 심층 신경망의 마지막 가중치 레이어가 마지막 은닉 레이어의 특징에 대해 훈련된 선형 서포트 벡터 머신(SVM) 해에 이론적으로도, 실험적으로도 수렴함을 보여준다. 교차 엔트로피 손실을 사용한 이진 및 다중 클래스 분류에서 손실이 0으로 수렴할 경우, 결정 경계는 SVM의 결정 경계와 일치하며, 전체 네트워크 훈련은 편향 상수를 개선하여 일반화 성능을 향상시킨다.

ABSTRACT

While deep learning models and techniques have achieved great empirical success, our understanding of the source of success in many aspects remains very limited. In an attempt to bridge the gap, we investigate the decision boundary of a production deep learning architecture with weak assumptions on both the training data and the model. We demonstrate, both theoretically and empirically, that the last weight layer of a neural network converges to a linear SVM trained on the output of the last hidden layer, for both the binary case and the multi-class case with the commonly used cross-entropy loss. Furthermore, we show empirically that training a neural network as a whole, instead of only fine-tuning the last weight layer, may result in better bias constant for the last weight layer, which is important for generalization. In addition to facilitating the understanding of deep learning, our result can be helpful for solving a broad range of practical problems of deep learning, such as catastrophic forgetting and adversarial attacking. The experiment codes are available at https://github.com/lykaust15/NN_decision_boundary

연구 동기 및 목표

• 데이터와 모델 아키텍처에 대한 최소한의 가정 하에 심층 신경망의 결정 경계를 이해하기 위해.
• 심층 학습에서 확률적 경사 하강법(SGD)의 암묵적 편향, 특히 최종 분류기 레이어에 대해 조사하기 위해.
• 단순화된 모델의 이론적 분석과 실제 심층 학습 성능 사이의 격차를 메우기 위해.
• 전체 네트워크 훈련과 마지막 레이어의 미세조정 간의 편향 상수 및 일반화 성능에 대한 영향을 탐구하기 위해.
• 치명적인 잊힘과 데이터 효율성과 같은 실용적 심층 학습 과제에 대해 이론적 및 실험적 근거를 제공하기 위해.

제안 방법

• 손실이 0으로 수렴하는 가정 하에 이론적 분석을 수행하였으며, 선형 분리 가능성이나 특정 데이터 분포를 요구하지 않는다.
• 네트워크를 변환 함수(마지막 은닉 레이어)와 최종 선형 분류기(마지막 가중치 레이어)로 분해하였으며, 후자는 변환된 특징에 대해 SVM 해로 수렴함을 입증하였다.
• 다중 클래스 분류의 경우, 교차 엔트로피 손실을 분석하여 다중 클래스 선형 SVM 해로의 수렴을 보였다.
• CIFAR-10과 MNIST에서 ResNet 및 DenseNet 아키텍처를 사용하여 실험적으로 마지막 레이어가 SVM 결정 경계로 수렴하는지 평가하였다.
• 전체 네트워크 훈련과 미세조정 간의 마지막 레이어 편향 상수를 비교하였으며, 전체 훈련이 더 나은 일반화를 이끌어내는 것으로 확인되었다.
• 기울기 역학에서 유도된 이론적 근거는 훈련이 진행됨에 따라 오직 서포트 벡터(최소 마진을 가진 샘플)만 기울기 영향을 미치며, 이는 SGD의 암묵적 편향을 설명한다.

실험 결과

연구 질문

• RQ1 훈련 손실이 0으로 수렴할 경우, 심층 신경망의 마지막 가중치 레이어가 교차 엔트로피 손실 하에서 선형 SVM 해로 수렴하는가?
• RQ2 전체 네트워크 훈련과 마지막 레이어의 미세조정 간에 편향 상수와 일반화 성능에서 어떤 차이가 있는가?
• RQ3 심층 신경망의 결정 경계는 마지막 은닉 레이어의 특징에 대해 훈련된 SVM의 결정 경계와 동치로 간주될 수 있는가?
• RQ4 변환 함수가 심층 학습에서 데이터 효율성과 일반화를 결정하는 데 어떤 역할을 하는가?
• RQ5 왜 복기 기반 방법인 SupportNet은 실무에서 잘 작동하는가? 이는 이론적으로 설명될 수 있는가?

주요 결과

• 이중 및 다중 클래스 분류에서 교차 엔트로피 손실 하에서, 마지막 가중치 레이어의 방향은 마지막 은닉 레이어의 특징에 대해 훈련된 선형 SVM의 방향으로 수렴한다.
• 실험 결과, 전체 네트워크 훈련은 미세조정보다 마지막 레이어의 더 나은 편향 상수를 제공하며, 이는 일반화 성능 향상에 기여한다.
• 손실이 0으로 수렴할 경우, 데이터가 선형으로 분리 가능하지 않더라도 SVM 해로의 수렴은 유지된다.
• 이론적 분석은 훈련이 진행됨에 따라 오직 서포트 벡터(최소 마진을 가진 샘플)만 기울기에 기여하며, 이는 SGD의 암묵적 편향을 설명한다.
• 이 결과는 치명적인 잊힘에 대한 SupportNet 복기 프레임워크의 경험적 성공을 설명한다. 이는 SVM 서포트 벡터에 해당하는 샘플을 선택하기 때문이다.
• 결과는 심층 학습에서 데이터 효율성이 주로 최종 선형 분류기보다는 변환 함수에 의해 제한됨을 시사하며, 이는 제한된 데이터로 효과적인 전이 학습을 가능하게 한다.