[논문 리뷰] Deep Imbalanced Learning for Face Recognition and Attribute Prediction

Chen Huang, Yining Li외 2명|arXiv (Cornell University)|2018. 06. 01.

Face recognition and analysis참고 문헌 72인용 수 30

한 줄 요약

이 논문은 얼굴 인식 및 속성 예측에서 클래스 불균형 문제를 완화하기 위해 초구면 상에서 군집 간의 각도 마진을 강제하는 클러스터 기반 대면적 로컬 임bedding(CLMLE)이라는 딥러닝 방법을 제안한다. 클래스 내외의 군집 간 마진을 유지함으로써 더 균형 잡힌 국소 결정 경계를 가능하게 하여, 불균형 데이터를 포함한 벤치마크 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Data for face analysis often exhibit highly-skewed class distribution, i.e., most data belong to a few majority classes, while the minority classes only contain a scarce amount of instances. To mitigate this issue, contemporary deep learning methods typically follow classic strategies such as class re-sampling or cost-sensitive training. In this paper, we conduct extensive and systematic experiments to validate the effectiveness of these classic schemes for representation learning on class-imbalanced data. We further demonstrate that more discriminative deep representation can be learned by enforcing a deep network to maintain inter-cluster margins both within and between classes. This tight constraint effectively reduces the class imbalance inherent in the local data neighborhood, thus carving much more balanced class boundaries locally. We show that it is easy to deploy angular margins between the cluster distributions on a hypersphere manifold. Such learned Cluster-based Large Margin Local Embedding (CLMLE), when combined with a simple k-nearest cluster algorithm, shows significant improvements in accuracy over existing methods on both face recognition and face attribute prediction tasks that exhibit imbalanced class distribution.

연구 동기 및 목표

• 얼굴 인식 및 속성 예측을 위한 딥 레프리젠테이션 러닝에서의 클래스 불균형 문제를 해결하기 위해.
• 클래식한 재표본화 및 비용 민감 학습 전략이 딥 러닝 불균형 학습에 충분한가를 조사하기 위해.
• 분류 간 및 분류 내의 군집 간 마진을 강제하여 국소 결정 경계의 균형을 향상시키는 방법을 개발하기 위해.
• 실제 불균형 얼굴 데이터셋과 시뮬레이션된 벤치마크에서 CLMLE의 효과성을 입증하기 위해.
• CLMLE를 사용한 단순한 k-이웃 분류기가 복잡한 베이스라인을 능가하는가를 보여주기 위해.

제안 방법

• CLMLE는 초구면 다양체 상에서 군집 간 각도 마진을 강제하여, 분류 간 및 분류 내 분離를 향상시키는 딥 레이어를 학습한다.
• 이 방법은 학습 중에 더 높은 관측 손실을 보이는 군집을 우선순위로 삼는 클러스터 기반 샘플링 전략을 사용한다.
• 비용 민감 학습 기법은 점수 수준에서 클래스 기여도를 재균형화하며, 특히 다중 레이블 속성 설정에서 효과적이다.
• 특징 임베딩은 군집 중심 간의 각도 거리를 제약하는 마진 기반 손실을 사용하여 최적화된다.
• 최종 분류기는 개별 인스턴스 기반 k-NN 대신 k-최근접 군집(k-NC)을 사용하여 속도와 성능을 향상시킨다.
• 이 방법은 표준 백프로파게이션을 사용해 엔드 투 엔드로 훈련되며, 마진 학습을 표준 크로스 엔트로피 손실과 통합한다.

실험 결과

연구 질문

• RQ1 클래식한 재표본화 및 비용 민감 학습 전략은 얼굴 분석에서 딥 러닝 불균형 학습을 효과적으로 완화할 수 있는가?
• RQ2 초구면 상에서 군집 간 마진을 강제하면 불균형 데이터에서 더 나은 국소 결정 경계를 얻을 수 있는가?
• RQ3 실제 불균형 얼굴 인식 및 속성 예측 벤치마크에서 CLMLE는 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ4 CLMLE의 성능에 기여하는 클러스터 수준의 샘플링과 비용 민감 가중치는 각각 어떤가?
• RQ5 CLMLE는 얼굴 분석을 넘어 일반적인 불균형 이미지 분류 작업으로 일반화될 수 있는가?

주요 결과

• LFW 얼굴 검증 벤치마크에서 CLMLE는 99.62%의 정확도를 달성하여 이전 최신 기술 수준의 방법들을 뛰어넘었다.
• CelebA 속성 예측 데이터셋에서 CLMLE는 평균 균형 정확도 88.78%를 기록하여 이전 방법들을 능가했다.
• 절단 분석 결과, 비균일한 클러스터 샘플링과 비용 민감 학습이 성능 향상에 크게 기여하며, 특히 다중 레이블 설정에서 두드러진다.
• 고불균형(γ=0.5)을 가진 CIFAR-100에서 CLMLE는 평균 클래스 균형 정확도 39.7%를 달성하여 CE+CRL(37.4%)과 LMLE(38.1%)를 모두 능가했다.
• k-NC를 개별 인스턴스 기반 k-NN로 대체하면 속성 예측 정확도가 88.59%로 떨어지며, 클러스터 수준 분류의 이점이 확인된다.
• CLMLE는 열린 집합 프로토콜에서도 강력한 성능을 유지하며, 분류 가능한 특징 학습 덕분에 알려지지 않은 클래스에 대해 강건함을 보였다.