[논문 리뷰] Robust RGB-D Face Recognition Using Attribute-Aware Loss

Luo Jiang, Juyong Zhang외 1명|arXiv (Cornell University)|2018. 11. 24.

Face recognition and analysis참고 문헌 53인용 수 5

한 줄 요약

이 논문은 성별, 민족, 연령과 같은 속성에 따라 특징 간 거리를 정규화함으로써 특징의 구분 능력을 향상시키는 속성 인식 손실 함수를 제안한다. 대규모 10만 명 이상의 신원을 가진 RGB-D 데이터셋에서 이러한 속성을 학습 중 손실에 통합함으로써, LFW에서 최신 기준 성능인 98.42%의 정확도를 달성하였으며, RGB-only 및 특징 융합 기반 모델을 모두 능가하면서도 추론 오버헤드는 낮게 유지한다.

ABSTRACT

Existing convolutional neural network (CNN) based face recognition algorithms typically learn a discriminative feature mapping, using a loss function that enforces separation of features from different classes and/or aggregation of features within the same class. However, they may suffer from bias in the training data such as uneven sampling density, because they optimize the adjacency relationship of the learned features without considering the proximity of the underlying faces. Moreover, since they only use facial images for training, the learned feature mapping may not correctly indicate the relationship of other attributes such as gender and ethnicity, which can be important for some face recognition applications. In this paper, we propose a new CNN-based face recognition approach that incorporates such attributes into the training process. Using an attribute-aware loss function that regularizes the feature mapping using attribute proximity, our approach learns more discriminative features that are correlated with the attributes. We train our face recognition model on a large-scale RGB-D data set with over 100K identities captured under real application conditions. By comparing our approach with other methods on a variety of experiments, we demonstrate that depth channel and attribute-aware loss greatly improve the accuracy and robustness of face recognition.

연구 동기 및 목표

• 학습 데이터의 얼굴 인식에서 샘플링 밀도의 불균형이 특징 공간의 근접도를 왜곡할 수 있는 문제를 해결하기 위해.
• 성별, 민족, 연령과 같은 비외형 속성을 학습 과정에 통합하여 인식의 강건성을 향상시키기 위해.
• RGB-D 센서에서의 깊이 정보를 활용하여 다양한 조명 조건에서도 성능을 향상시키기 위해.
• 복잡한 특징 융합을 피함으로써 최소한의 계산 오버헤드로 높은 정확도를 유지하는 학습 방법을 개발하기 위해.
• 속성 인식 정규화가 딥 얼굴 임bedding에서 더 나은 일반화와 특징의 밀도 향상에 기여함을 입증하기 위해.

제안 방법

• 근접한 학습 샘플들 간의 특징 차이와 속성 차이 사이에 선형 관계를 강제하는 속성 인식 손실 함수를 도입한다.
• 속성 벡터를 특징 공간으로 매핑하기 위해 선형 변환 G를 사용하여 유사한 속성이 유사한 특징 표현을 유도하도록 보장한다.
• 실제 환경 조건에서 촬영된 10만 명 이상의 신원을 포함한 대규모 RGB-D 데이터셋에서 CNN을 학습하며, 깊이 맵을 RGB 이미지와 정렬하고 깊이 값을 정규화한다.
• 속성 인식 손실를 표준 소프트맥스 분류 손실와 결합하며, 특징 간 분리 정도를 제어하기 위해 마진 τ = 0.58를 사용한다.
• 다중 모델 융합이나 복잡한 텐서 분해를 필요로 하지 않는 단일 단계 학습 파이프라인을 활용한다.
• 16K 및 24K 반복 시에 학습률 감소를 적용하며, 총 28K 반복 동안 학습을 수행하고, 속성 인식 손실 항목의 가중치로 0.001을 사용한다.

실험 결과

연구 질문

• RQ1 성별, 민족과 같은 비외형 속성을 손실 함수에 통합함으로써 딥 얼굴 인식의 강건성과 정확도를 향상시킬 수 있는가?
• RQ2 속성 인식 지도와 함께 깊이 데이터를 사용할 경우, 실제 조명 및 자세 변화 조건에서 더 나은 일반화가 이루어지는가?
• RQ3 기존의 메트릭 학습 손실(예: 트리플릿 손실) 또는 소프트맥스 기반 방법과 비교해 속성 인식 손실은 수렴 속도와 성능 측면에서 어떻게 다른가?
• RQ4 속성 인식 정규화는 학습 데이터의 불균형한 샘플링 밀도가 초래하는 부정적 영향을 완화시킬 수 있는가?
• RQ5 속성 인식 손실은 임베딩 공간에서 특징의 밀도 향상과 클래스 간 분리도 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 속성 인식 손실은 LFW 데이터셋에서 98.42%의 검증 정확도를 달성하여 기준 소프트맥스 모델(97.43%)과 GTNN 융합 방법(97.78%)을 모두 능가하였다.
• 외형 특징만을 사용해 학습한 모델(FRfs)과 얼굴 속성 특징만을 사용한 모델(FAs)보다도 성능이 뛰어나, 속성 지도 하에 특징를 공동 최적화하는 것이 유익함을 입증하였다.
• 속성 인식 손실은 모델 파arameter 수에 거의 영향을 주지 않으며, 추론 시에 손실 계층을 제거하므로 추론 오버헤드가 없었다.
• 10만 명 이상의 신원을 포함한 대규모 RGB-D 데이터셋에서 학습된 모델은 다양한 조명 및 표정 조건에서도 강력한 일반화 능력을 보였다.
• 깊이 데이터의 사용은 조명 변화에 대한 강건성을 크게 향상시켰고, 속성 정규화는 명시적 기하 모델링 없이도 특징 공간의 구조를 개선했다.
• 제거 분석을 통해 속성 인식 손실이 유사한 속성을 가진 신원의 특징 산산이 흩어지는 것을 효과적으로 줄여, 내부 클래스의 밀도 향상에 기여함을 확인하였다.