[논문 리뷰] Deep Learning using Linear Support Vector Machines

Yichuan Tang|arXiv (Cornell University)|2013. 06. 02.

Anomaly Detection Techniques and Applications참고 문헌 19인용 수 741

한 줄 요약

이 논문은 딥 네ural 네트워크의 소프트맥스 레이어를 선형 서포트 벡터 머신(SVM)으로 대체하여 분류 성능을 향상시키는 것을 제안한다. 교차 엔트로피 대신 미분 가능한 L2-SVM 손실을 사용함으로써, 더 우수한 정규화를 통해 일반화 성능을 햖을 수 있었고, 이로 인해 MNIST에서 0.87%의 최신 기준 오차율과 CIFAR-10에서 11.9%의 오차율을 달성하여 표준 소프트맥스 기반 네트워크를 능가하였다.

ABSTRACT

Recently, fully-connected and convolutional neural networks have been trained to achieve state-of-the-art performance on a wide variety of tasks such as speech recognition, image classification, natural language processing, and bioinformatics. For classification tasks, most of these "deep learning" models employ the softmax activation function for prediction and minimize cross-entropy loss. In this paper, we demonstrate a small but consistent advantage of replacing the softmax layer with a linear support vector machine. Learning minimizes a margin-based loss instead of the cross-entropy loss. While there have been various combinations of neural nets and SVMs in prior art, our results using L2-SVMs show that by simply replacing softmax with linear SVMs gives significant gains on popular deep learning datasets MNIST, CIFAR-10, and the ICML 2013 Representation Learning Workshop's face expression recognition challenge.

연구 동기 및 목표

• 딥 러닝 모델에서 소프트맥스 레이어를 선형 SVM로 대체할 경우 분류 성능이 향상되는지 조사하는 것.
• 교차 엔트로피 손실 대신 마진 기반 L2-SVM 손실을 사용할 경우 일반화 및 내성에 미치는 영향을 평가하는 것.
• 성능 향상 요인이 목적 함수의 특성인지, 또는 개선된 최적화 능력 때문인지 판단하는 것.
• L2-SVM를 사용한 엔드 투 엔드 훈련이 특징 미세조정이나 다단계 파ip라인 없이도 최신 기준 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 딥 네ural 네트워크의 최종 소프트맥스 레이어를, 마진 기반 허프 기반의 미분 가능한 손실을 최소화하는 선형 L2-SVM 레이어로 대체한다.
• 확률적 경사 하강법을 사용해 L2-SVM의 원형을 최적화함으로써, 전체 네트워크를 통해 역전파가 가능하도록 한다.
• 표준 허프 기반 손실(L1-SVM)보다 잘못 분류된 예측에 더 강하게 처벌하는 제곱 허프 손실(L2-SVM)을 사용한다.
• 전체 네트워크를 엔드 투 엔드로 훈련시켜, 하위 레이어의 특징들이 SVM 목적 함수와 함께 함께 최적화되도록 한다.
• 일반화 성능 향상을 위해 데이터 증강(임의의 수평 반전 및 저항)과 입력 수준의 가우시안 노이즈(σ = 1.0, 점차 0으로 감쇠)를 적용한다.
• 각 모델에 대해 검증 세트를 사용해 학습률, 가중치 감쇠, SVM C 등의 하이퍼파ram터를 별도로 튜닝한다.

실험 결과

연구 질문

• RQ1 표준 딥 러닝 벤치마크에서 소프트맥스 레이어를 선형 SVM로 대체할 경우 테스트 정확도가 향상되는가?
• RQ2 성능 향상은 L2-SVM의 목적 함수 때문인가, 아니면 더 나은 최적화 능력 때문인가?
• RQ3 L2-SVM 손실은 교차 엔트로피와 비교해 정규화 및 일반화 측면에서 어떻게 다른가?
• RQ4 L2-SVM 레이어를 포함한 딥 네트워크의 엔드 투 엔드 훈련이 비지도 사전학습이나 복잡한 아키텍처 없이도 최신 기준 성능을 달성할 수 있는가?

주요 결과

• DLSVM 모델은 동일한 훈련 조건에서 소프트맥스 기반 베이스라인의 0.99% 대비 MNIST에서 0.87%의 테스트 오차율을 달성하였다.
• CIFAR-10에서 DLSVM 모델은 11.9%의 테스트 오차율을 기록했고, 소프트맥스 모델의 14.0%보다 뚜렷한 향상을 보였다.
• DLSVM 모델에서 L2-SVM 목적 함수는 교차 엔트로피 손실(0.353) 대비 훨씬 낮은 허프 손실(0.313)을 기록하여, 더 우수한 마진 학습 능력을 보였다.
• DLSVM 가중치로 초기화된 소프트맥스 모델은 추가 훈련 후 오차율이 14.0%로 증가했으며, 이는 DLSVM 목적 함수가 일반화에 더 효과적임을 시사한다.
• 성능 향상 요인은 주로 L2-SVM 손실의 정규화 성질 때문이며, 최적화의 이점 때문이 아니다.
• 학습된 필터의 시각적 점검 결과, DLSVM로 훈련된 네트워크는 더 풍부한 무늬를 가진 필터를 생성했으며, 이는 특징 학습 방식의 차이를 시사한다.