[논문 리뷰] Contrastive-center loss for deep neural networks

Ce Qi, Fei Su|arXiv (Cornell University)|2017. 07. 24.

Face recognition and analysis참고 문헌 17인용 수 14

한 줄 요약

이 논문은 깊이 신경망을 위한 새로운 보조 손실인 대비-중심 손실을 제안한다. 이는 내부 클래스의 밀도와 외부 클래스의 분리도를 동시에 최적화하여 특징의 판별력을 향상시킨다. 클래스 중심으로부터의 거리와 비일치하는 클래스 중심으로부터의 거리를 벌리게 하여, 사전에 선택된 트리플릿이나 쌍을 필요로 하지 않으면서도 이미지 분류 및 얼굴 인식에서 성능을 햖थ다. CIFAR-10과 LFW에서 최신 기준 성능을 달성하였다.

ABSTRACT

The deep convolutional neural network(CNN) has significantly raised the performance of image classification and face recognition. Softmax is usually used as supervision, but it only penalizes the classification loss. In this paper, we propose a novel auxiliary supervision signal called contrastivecenter loss, which can further enhance the discriminative power of the features, for it learns a class center for each class. The proposed contrastive-center loss simultaneously considers intra-class compactness and inter-class separability, by penalizing the contrastive values between: (1)the distances of training samples to their corresponding class centers, and (2)the sum of the distances of training samples to their non-corresponding class centers. Experiments on different datasets demonstrate the effectiveness of contrastive-center loss.

연구 동기 및 목표

• 표준 소프트맥스 손실의 한계를 해결하기 위해, 이는 분류 정확도만 최적화할 뿐 특징의 밀도나 분리도를 명시적으로 강제하지 않는다.
• 중심 손실의 단점을 극복하기 위해, 이는 내부 클래스의 밀도를 향상시키지만 외부 클래스의 분리도를 忽略한다.
• 딥 페처에서 동시에 내부 클래스의 밀도와 외부 클래스의 분리도를 향상시키는 학습 신호를 개발하기 위해.
• 대비나 트리플릿 손실과 달리 사전에 트리플릿이나 쌍을 선택할 필요가 없는, 간단하게 구현할 수 있는 손실 함수를 설계하기 위해.
• 이러한 손실의 효과를 표준 데이터셋을 사용한 이미지 분류 및 얼굴 인식 벤치마크에서 경험적으로 검증하기 위해.

제안 방법

• 대비-중심 손실은 두 성분의 합으로 정의된다: (1) 각 샘플에서 해당 클래스 중심까지의 평균 거리, (2) 각 샘플에서 모든 비일치 클래스 중심까지의 거리 합.
• 손실 함수는 다음과 같이 수식화된다: $ L_{ct-c} = \frac{1}{2} \frac{1}{m} \big( \text{sum of } ||x_i - c_{y_i}||_2^2 \big) + \frac{1}{2} \frac{1}{m} \big( \text{sum of } \text{sum}_{j \neq y_i} ||x_i - c_j||_2^2 \big) $, 여기서 $ x_i $는 특징 벡터, $ c_{y_i} $는 진짜 클래스 중심, $ c_j $는 다른 클래스 중심이다.
• 총 학습 손실은 표준 소프트맥스 손실 $ L_s $ 와 대비-중심 손실 $ L_{ct-c} $ 를 조합하며, 균형 조절 하이퍼파ram터 $ \rho $ 를 사용한다: $ L = L_s + \rho L_{ct-c} $.
• 클래스 중심은 확률적 경사 하강법을 사용해 학습 중에 업데이트되며, 특징 맵과 중심 계산에 대한 역전파가 수행된다.
• 이 방법은 하드 트리플릿이나 쌍의 사전 샘플링 없이도 딥 컨volution 네트워크에서 엔드 투 엔드로 적용된다.
• 이 접근법은 표준 데이터 증강 및 평가 프로토콜을 사용하여 MNIST, CIFAR-10, LFW에서 ResNet 아키텍처를 사용해 평가되었다.

실험 결과

연구 질문

• RQ1 복잡한 샘플링 전략이 필요 없이도 통합된 손실 함수가 딥 페처에서 내부 클래스의 밀도와 외부 클래스의 분리도를 동시에 향상시킬 수 있는가?
• RQ2 대비-중심 손실은 중심 손실 대비 특징의 판별력과 분류 정확도에서 어떻게 비교되는가?
• RQ3 제안된 손실이 표준 소프트맥스 학습 대비 표준 이미지 분류 및 얼굴 인식 벤치마크에서 성능을 향상시키는가?
• RQ4 대비-중심 손실은 하드 샘플 마이닝이 필요 없이 최소한의 아키텍처 변경으로 최신 기준 성능을 달성할 수 있는가?
• RQ5 대비-중심 손실은 특징 시각화와 클래스 중심 분포에 어떤 영향을 미치는가?

주요 결과

• CIFAR-10에서 대비-중심 손실은 표준 소프트맥스 학습 대비 1.2%의 분류 정확도 향상을 보였으며, 중심 손실 대비 0.35% 높은 성능을 기록했다.
• 20층의 ResNet을 사용하여, 대비-중심 손실은 CIFAR-10에서 92.45%의 정확도를 달성했고, 표준 소프트맥스는 91.25%, 중심 손실은 92.1%였다.
• LFW 데이터셋에서 대비-중심 손실은 검증 정확도를 98.68%로 향상시켜, 기준 소프트맥스 모델(97.47%) 대비 1.21%포인트 향상시켰다.
• LFW에서 중심 손실을 발표한 논문 [13]의 모델 대비 0.25%포인트 높은 성능을 기록했으며, 중심 손실의 재현 모델 대비 0.13%포인트 높은 성능을 기록했다.
• CASIA-WebFace에서 455,594장의 이미지만을 사용하여 LFW에서 최신 기준 성능을 달성하여, 제한된 데이터에서도 효과적임을 입증했다.
• 시각화 결과, 대비-중심 손실로 학습된 특징는 기준 모델과 중심 손실 대비 더 강한 내부 클래스 군집화와 더 큰 외부 클래스 마진을 보였다.