[논문 리뷰] Ensemble Soft-Margin Softmax Loss for Image Classification

Xiaobo Wang, Shifeng Zhang외 4명|arXiv (Cornell University)|2018. 05. 10.

Advanced Neural Network Applications참고 문헌 25인용 수 6

한 줄 요약

이 논문은 소프트 마진 소프트맥스와 힐버트-슈미트 독립성 기준(HSIC)을 활용한 약한 분류기 앙상블을 조합함으로써 특징의 구분 능력을 향상시키고 더 강력한 결정 경계를 형성하는 새로운 손실 함수인 앙상블 소프트-마진 소프트맥스(EM-Softmax)를 제안한다. EM-Softmax는 모델 앙상블이나 드롭아웃 기반 앙상블보다 더 낮은 모델 크기와 훈련 시간으로 CIFAR-10 및 CIFAR-100에서 최신 기준 성능을 달성한다.

ABSTRACT

Softmax loss is arguably one of the most popular losses to train CNN models for image classification. However, recent works have exposed its limitation on feature discriminability. This paper casts a new viewpoint on the weakness of softmax loss. On the one hand, the CNN features learned using the softmax loss are often inadequately discriminative. We hence introduce a soft-margin softmax function to explicitly encourage the discrimination between different classes. On the other hand, the learned classifier of softmax loss is weak. We propose to assemble multiple these weak classifiers to a strong one, inspired by the recognition that the diversity among weak classifiers is critical to a good ensemble. To achieve the diversity, we adopt the Hilbert-Schmidt Independence Criterion (HSIC). Considering these two aspects in one framework, we design a novel loss, named as Ensemble soft-Margin Softmax (EM-Softmax). Extensive experiments on benchmark datasets are conducted to show the superiority of our design over the baseline softmax loss and several state-of-the-art alternatives.

연구 동기 및 목표

• 기본 소프트맥스 손실의 이중적 한계인 낮은 특징 구분 능력과 딥 컨volution 네트워크에서의 약한 분류기 학습을 해결하기 위함.
• 특징 공간 내의 클래스 간 분리도를 향상시키기 위해 소프트 마진 소프트맥스 함수를 도입하여 특징의 구분 능력을 향상시키기 위함.
• 동일한 모델 아키텍처에서 유도된 다수의 약한 분류기를 앙성화하여 분류기의 강도를 강화하기 위함.
• 효율적인 앙성 학습을 위해 힐버트-슈미트 독립성 기준(HSIC)을 활용해 약한 분류기 간의 다양성을 확보하기 위함.
• 모델 앙성 또는 드롭아웃 기반 앙성 전략보다 더 낮은 모델 크기와 훈련 비용으로 높은 정확도를 달성하기 위함.

제안 방법

• 표준 소프트맥스를 수정하여 마진 파라미터를 도입함으로써 특징 공간 내의 클래스 간 분리도를 향상시키는 소프트 마진 소프트맥스 함수를 설계함.
• 동일한 기반 네트워크에서 서로 다른 무작위 가중치 초기화를 사용해 다수의 약한 분류기를 훈련시켜 다양한 기본 모델을 생성함.
• 약한 분류기 출력 간 통계적 독립성을 극대화하기 위해 힐버트-슈미트 독립성 기준(HSIC)을 정규화 항으로 적용함.
• 교차 엔트로피 손실와 HSIC 정규화를 조합한 공동 손실을 최적화하여 전체 모델의 엔드 투 엔드 훈련을 가능하게 함.
• 기존 CNN 프레임워크와의 호환성을 유지하기 위해 아키텍처 변경 없이 표준 소프트맥스 훈련 파이프라인에 앙성 전략을 통합함.
• 메모리 및 추론 오버헤드를 줄이기 위해 배치당 다중 순전파를 수행하는 단일 네트워크를 사용해 앙성 효과를 시뮬레이션함.

실험 결과

연구 질문

• RQ1 소프트 마진 소프트맥스 함수는 이미지 분류에서 CNN 특징의 구분 능력을 향상시킬 수 있는가?
• RQ2 동일한 모델 아키텍처에서 훈련된 다수의 약한 분류기를 앙성화하면 더 강력한 종합 분류기가 도출되는가?
• RQ3 HSIC 기반 정규화는 앙성 내 약한 분류기 간의 다양성을 효과적으로 증진시킬 수 있는가?
• RQ4 제안된 EM-Softmax 손실은 모델 앙성 및 드롭아웃 기반 앙성 전략과 비교해 정확도, 모델 크기, 훈련 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 제안된 방법은 CIFAR-10 및 CIFAR-100과 같은 표준 이미지 분류 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• EM-Softmax는 CIFAR-10에서 상위-1 정확도 93.31%를 기록하여 기준 소프트맥스(90.95%)와 모델 앙성(90.97%)을 뛰어넘었으며, 모델 크기는 크게 작아서 유리했다.
• CIFAR-100에서는 72.74%의 정확도를 기록하여 최고의 기준 모델 앙성(70.01%)과 드롭아웃 소프트맥스(68.01%)를 모두 초월했다.
• EM-Softmax는 투명한 Titan X GPU 두 대에서 훈련에 1.01시간이 소요되었으며, 모델 앙성(3.02–4.82시간)보다 훨씬 빠르면서도 더 높은 정확도를 달성했다.
• EM-Softmax 모델 크기는 15.2 MB로, 129.35 MB의 모델 앙성 앙성보다 훨씬 작아 배포에 유리했다.
• EM-Softmax에 드롭아웃을 추가해도 성능 향상이 미미했으며(93.49% 대비 93.31%), 이는 앙성 전략이 드롭아웃보다 일반화 성능 향상에 더 효과적임을 시사했다.
• HSIC 기반 다양성 정규화가 일반화 성능 향상에 효과적이었으며, 다양한 데이터셋과 아키텍처에서 일관된 성능 향상이 관찰되었다.