[논문 리뷰] Data Uncertainty Learning in Face Recognition

Jie Chang, Zhonghao Lan외 2명|arXiv (Cornell University)|2020. 03. 25.

Face recognition and analysis참고 문헌 57인용 수 9

한 줄 요약

이 논문은 얼굴 인식를 위한 데이터 불확실성 학습(DUL)을 제안하며, 처음으로 확률적 잠재공간에서 특징 임bedding(평균)과 불확실성(분산)을 동시에 학습한다. 분류 또는 회귀 기반 방법을 사용해 평균과 분산을 엔드 투 엔드로 훈련함으로써 DUL은 내부 클래스의 응집도를 향상시키고, 외부 클래스 간의 분리도를 높이며, 결정론적 모델과 이전 연구인 PFE를 능가한다. 특히 노이즈가 있는 조건에서 우수한 성능을 보인다.

ABSTRACT

Modeling data uncertainty is important for noisy images, but seldom explored for face recognition. The pioneer work, PFE, considers uncertainty by modeling each face image embedding as a Gaussian distribution. It is quite effective. However, it uses fixed feature (mean of the Gaussian) from an existing model. It only estimates the variance and relies on an ad-hoc and costly metric. Thus, it is not easy to use. It is unclear how uncertainty affects feature learning. This work applies data uncertainty learning to face recognition, such that the feature (mean) and uncertainty (variance) are learnt simultaneously, for the first time. Two learning methods are proposed. They are easy to use and outperform existing deterministic methods as well as PFE on challenging unconstrained scenarios. We also provide insightful analysis on how incorporating uncertainty estimation helps reducing the adverse effects of noisy samples and affects the feature learning.

연구 동기 및 목표

• 기존 얼굴 인식 모델이 임베딩을 결정론적 점으로 간주하여 노이즈가 있거나 저품질 이미지에 내재된 데이터 수준의 불확실성을 忽시하는 한계를 해결하기 위해.
• PFE와 같은 이전 연구의 제약을 극복하기 위해, 평균 임베딩을 고정하고 분산만 학습하는 방식은 공동 최적화를 제한하며, 복잡한 유사도 측정 방법이 필요로 함.
• 정체성 특징(평균)과 그 불확실성(분산)을 동시에 학습하는 통합 프레임워크를 개발하여, 코사인 거리와 같은 표준 유사도 측정 방법을 사용할 수 있도록 하기 위해.
• 학습된 불확실성이 최적화 과정에서 노이즈가 많은 샘플의 악영향을 완화하는 데 어떻게 영향을 미치는지 분석하기 위해.
• 저품질 이미지가 포함된 실제 세계의 제약 조건이 많은 얼굴 인식 벤치마크에서 개선된 강인성과 성능을 입증하기 위해.

제안 방법

• DUL cls는 분류 기반 방법으로, 가우시안 분포 출력을 갖는 얼굴 인식 모델을 처음부터 훈련하며, 평균(μ)과 분산(σ)을 엔드 투 엔드로 최적화한다.
• DUL rgs는 회귀 기반 방법으로, 기존에 미리 훈련된 얼굴 인식 모델에 분산 헤드를 추가하여 불확실성을 예측함으로써, μ와 σ의 공동 학습을 가능하게 한다.
• 대표성 능력과 일반화 능력의 균형을 위해, KL 발산 항을 포함한 변분 추론 목표를 사용하여 불확실성 추정을 정규화한다.
• KL 발산의 영향을 조절하기 위해 무작위 하이퍼파rameter λ를 사용하는 수정된 AM-Softmax 손실을 적용하여, 적응적인 불확실성 할당을 가능하게 한다.
• 이전 연구에서 사용된 복잡한 상호 가능성 점수(MLS)가 아닌 표준 코사인 유사도를 추론에 그대로 사용함으로써, 복잡한 유사도 계산이 필요 없도록 한다.
• 훈련 중에 데이터 증강과 노이즈 주입을 적용하여 실제 세계의 이미지 열화를 시뮬레이션하고 강인성을 평가한다.

실험 결과

연구 질문

• RQ1 특징 평균과 불확실성의 공동 학습이 결정론적 모델에 비해 얼굴 인식 성능을 어떻게 향상시키는가?
• RQ2 평균과 분산을 모두 엔드 투 엔드로 학습하는 것이 잠재공간에서 내부 클래스의 응집도와 외부 클래스 간의 분리도를 향상시키는 데 기여하는가?
• RQ3 학습된 불확실성이 최적화 과정에서 노이즈가 많거나 품질이 낮은 훈련 샘플의 영향을 줄이는 데 어떻게 기여하는가?
• RQ4 훈련 데이터에 상당한 이미지 노이즈나 레이블 오류가 포함되어 있어도, 제안된 방법이 성능을 유지하거나 향상시키는가?
• RQ5 특수한 측정 방법(예: MLS)이 아닌 표준 유사도 측정 방법을 사용해도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DUL cls와 DUL rgs는 YTF, MegaFace, IJB-C를 포함한 모든 주요 벤치마크에서 결정론적 모델과 PFE를 능가하며, 특히 저품질 이미지가 포함된 데이터셋에서 가장 큰 성과 향상을 보였다.
• IJB-C 벤치마크에서 DUL cls는 FPR 기준 TPR 92.78%를 기록했으며(λ=0.01), PFE의 91.33%와 기준 모델의 88.65%를 뛰어넘었다.
• MS-Celeb-1M에 40%의 가우시안 블러 노이즈가 포함된 데이터로 훈련한 경우, DUL cls는 IJB-C에서 95.85%의 정확도를 유지했으며, PFE는 94.82%, 기준 모델은 93.73%였다.
• 무작위 하이퍼파rameter λ는 불확실성의 대표성 능력을 제어한다: 너무 낮은 값(λ=0)은 거의 결정론적 예측을 유도하고, 너무 높은 값(λ=1.0)은 모든 샘플에 큰 분산을 할당하여 성능 저하를 초래한다.
• 정성적 분석 결과, DUL cls는 노이즈가 많은 샘플에 더 큰 분산을 할당하고, 깨끗한 샘플에는 더 작은 분산을 할당함으로써 강인성과 특징 품질을 향상시켰다.
• 이 방법은 추론 시 표준 코사인 유사도를 직접 사용할 수 있도록 하여, PFE에서 사용된 계산 비용이 큰 상호 가능성 점수(MLS)가 필요 없도록 했다.