[논문 리뷰] Large-Margin Softmax Loss for Convolutional Neural Networks

Weiyang Liu, Yandong Wen외 2명|arXiv (Cornell University)|2016. 12. 07.

Advanced Neural Network Applications참고 문헌 29인용 수 432

한 줄 요약

본 논문은 Large-Margin Softmax (L-Softmax) 손실을 도입하여 소프트맥스의 각도 여유 버전으로 분류 및 검증을 위한 CNN 특징을 더 구별 가능하게 학습시키고, MNIST, CIFAR, LFW 데이터셋에서 일관된 향상을 보인다.

ABSTRACT

Cross-entropy loss together with softmax is arguably one of the most common used supervision components in convolutional neural networks (CNNs). Despite its simplicity, popularity and excellent performance, the component does not explicitly encourage discriminative learning of features. In this paper, we propose a generalized large-margin softmax (L-Softmax) loss which explicitly encourages intra-class compactness and inter-class separability between learned features. Moreover, L-Softmax not only can adjust the desired margin but also can avoid overfitting. We also show that the L-Softmax loss can be optimized by typical stochastic gradient descent. Extensive experiments on four benchmark datasets demonstrate that the deeply-learned features with L-softmax loss become more discriminative, hence significantly boosting the performance on a variety of visual classification and verification tasks.

연구 동기 및 목표

• CNN에서 표준 소프트맥스 이상으로 더 구별 가능한 특징의 필요성을 동기화한다.
• 각도 공간에서 클래스 간 간격 분리성과 intra-class 응집성을 강화하는 일반화된 대형 마진 소프트맥스 손실을 제안한다.
• L-Softmax가 표준 SGD로 최적화 가능하며 소프트맥스의 드롭인 대체재가 될 수 있음을 보인다.
• 광범위한 실험을 통해 이미지 분류 및 얼굴 검증에서의 향상을 입증한다.

제안 방법

• 클래스 점수를 f_j = W_j^T x_i 로 표현하고 이를 f_j = ||W_j|| ||x_i|| cos(theta_j)로 해석한다.
• cos(theta_yi)를 각 마진 m을 부호화하는 psi(theta_yi)로 대체하여 각도 마진 m을 인코딩한다(ψ(θ) = cos(mθ) for 0 ≤ θ ≤ π/m, 그 이상으로는 단조롭게 확장).
• forward/backward 전파를 가능하게 하는 tractable ψ(θ) 형식을 사용한다(예: ψ(θ) = (-1)^k cos(mθ) - 2k for θ ∈ [kπ/m, (k+1)π/m]).
• SGD 업데이트를 가능하게 하는 x_i 및 W_yi에 대한 기울기를 도출한다(특히 m ≥ 2에 대해 다항 전개를 통한 특별한 처리와 함께).
• cos(θ_yi) 를 위한 실용적 조회 방식과 m=2의 구체적 예제에 대한 순전파/역전파 계산 개요를 제공한다.

실험 결과

연구 질문

• RQ1 소프트맥스 목적함수에 각도 여유가 도입되면 CNN 특징의 intra-class 응집성과 inter-class 분리성이 개선될 수 있는가?
• RQ2 L-Softmax가 표준 벤치마크에서 시각적 분류 및 검증 작업 모두에 실질적인 이점을 제공하는가?
• RQ3 L-Softmax가 표준 SGD 학습 및 기존 CNN 구조와의 과적합 없이 호환되는가?
• RQ4 마진 매개변수 m가 구별성 및 학습 난이도에 어떤 영향을 미치는가?

주요 결과

• L-Softmax는 더 큰 각도 여유에서 더 구별 가능한 특징을 제공하여 실험에서 클래스 간 분리를 향상시킨다.
• MNIST에서 m=2/3/4인 L-Softmax는 소프트맥스 및 여러 기초 모델보다 오류율이 낮다(예: MNIST에서 0.40%의 소프트맥스 대비 0.31%의 m=3).
• CIFAR-10에서 증강 없이 L-Softmax의 m=2/4가 CIFAR-10 오류를 9.05%에서 7.58%로 감소시켰고(m=4), 증강을 적용하면 CIFAR-10+가 5.92%로 감소한다(m=4).
• CIFAR-100에서 L-Softmax는 오류를 29.53%(m=4)로 감소시키며 소프트맥스 및 기타 기초 모델보다 낮다.
• LFW 얼굴 검증에서 L-Softmax는 CASIA-WebFace를 학습에 사용하고 표준 평가 프로토콜을 사용한 경우 더 높은 정확도(예: m=4에서 98.71%)를 달성한다.
• 메서드는 과적합을 완화하고 네트워크 용량과 함께 확장되며, 더 큰 모델에서 L-Softmax 하의 성능이 추가로 향상된다.