[논문 리뷰] A New Loss Function for CNN Classifier Based on Pre-defined Evenly-Distributed Class Centroids

Qiuyu Zhu, Pengju Zhang외 1명|arXiv (Cornell University)|2019. 04. 12.

Face recognition and analysis참고 문헌 21인용 수 9

한 줄 요약

이 논문은 전역으로 균일하게 분포된 클래스 중심점에 대해 특징 임bedding이 조밀하게 군집되도록 강제하고, 클래스 간 거리를 최대화하며 클래스 내 변동을 최소화하는 새로운 손실 함수인 PEDCC-Loss를 제안한다. 이미지 분류 및 얼굴 인식에서 최신 기술 수준의 정확도를 달성하며 안정적이고 빠른 수렴을 보인다.

ABSTRACT

With the development of convolutional neural networks (CNNs) in recent years, the network structure has become more and more complex and varied, and has achieved very good results in pattern recognition, image classification, object detection and tracking. For CNNs used for image classification, in addition to the network structure, more and more research is now focusing on the improvement of the loss function, so as to enlarge the inter-class feature differences, and reduce the intra-class feature variations as soon as possible. Besides the traditional Softmax, typical loss functions include L-Softmax, AM-Softmax, ArcFace, and Center loss, etc. Based on the concept of predefined evenly-distributed class centroids (PEDCC) in CSAE network, this paper proposes a PEDCC-based loss function called PEDCC-Loss, which can make the inter-class distance maximal and intra-class distance small enough in hidden feature space. Multiple experiments on image classification and face recognition have proved that our method achieve the best recognition accuracy, and network training is stable and easy to converge. Code is available in https://github.com/ZLeopard/PEDCC-Loss

연구 동기 및 목표

• 특징 공간에서 클래스 간 분리도 향상과 클래스 내 밀집도 향상을 통해 CNN 분류기 성능을 향상시키기.
• 기존 손실 함수가 최적의 특징 분포를 달성하기 위해 엔드 투 엔드 중심점 학습이 필요로 하는 한계를 해결하기.
• 사전 정의된 균일하게 분포된 클래스 중심점을 기준점으로 활용하는 안정적이고 수렴 가능한 훈련 방법 개발하기.
• 제안된 손실 함수가 일반 이미지 분류 및 특수한 얼굴 인식 작업 모두에서 효과적인지 검증하기.

제안 방법

• 학습 데이터와 무관하게 특징 공간에 사전에 지정된 균일하게 분포된 클래스 중심점을 정의한다.
• 특징 임bedding과 해당 사전 중심점 간의 L2 거리를 최소화하는 새로운 손실 함수인 PEDCC-Loss를 수립한다.
• 표준 크로스 엔트로피 손실과 중심점 기반 손실을 통합하여 분류 정확도와 특징 군집화를 동시에 최적화한다.
• 구면 코드 또는 균일 분포 기반의 고정된 중심점 초기화 전략을 사용하여 임bedding 공간 내에서 균일한 클래스 커버리지 확보하기.
• 역전파 동안 병합된 손실을 최적화하여 특징들이 할당된 중심점 쪽으로 수렴하도록 유도한다.
• 최소한의 아키텍처 변경으로 일반 이미지 분류 및 얼굴 인식 벤치마크에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 사전 정의된 균일하게 분포된 클래스 중심점이 CNN에서 특징 군집화와 분류 정확도 향상에 기여하는가?
• RQ2 PEDCC-Loss는 기존의 마진 기반 및 센터 손실 함수와 비교해 수렴 속도와 안정성 측면에서 어떻게 성능을 내는가?
• RQ3 학습 가능한 중심점 대신 고정된 중심점을 사용할 경우 이미지 분류 및 얼굴 인식에서 더 나은 일반화 성능을 달성하는가?
• RQ4 제안된 손실 함수가 클래스 내 변동을 어느 정도 감소시키며, 클래스 간 마진을 얼마나 증가시키는가?

주요 결과

• PEDCC-Loss는 여러 이미지 분류 벤치마크에서 Softmax, AM-Softmax, ArcFace, Center loss를 능가하는 최신 기술 수준의 인식 정확도를 달성한다.
• 기존의 손실 함수와 비교해 더 빠른 수렴과 더 높은 훈련 안정성을 보여준다.
• 사전 정의된 균일하게 분포된 중심점을 사용함으로써 모든 클래스에 걸쳐 균일하고 구분력 있는 특징 표현이 가능해진다.
• 얼굴 인식 데이터셋에서 기존 기반 방법보다 높은 정확도를 달성하여, 미세한 분류 작업에서의 효과성을 확인한다.