[논문 리뷰] Deep Structured Prediction for Facial Landmark Detection

Lisha Chen, Hui Su외 1명|arXiv (Cornell University)|2020. 10. 18.

Face recognition and analysis인용 수 13

한 줄 요약

이 논문은 얼굴 랜드마크 검출을 위해 컨볼루션 신경망(CNN)과 완전 연결 조건부 랜덤 필드(CRF)를 결합한 딥 구조적 예측 프레임워크를 제안한다. 정확한 학습과 추론을 통해 랜드마크 간 기하학적 의존성을 모델링함으로써, 큰 자세 변화와 가림 현상이 있는 도전적인 데이터셋에서 뛰어난 정확도와 일반화 성능을 달성하며, 내부 및 교차 데이터셋 평가에서 최신 기법들을 능가한다.

ABSTRACT

Existing deep learning based facial landmark detection methods have achieved excellent performance. These methods, however, do not explicitly embed the structural dependencies among landmark points. They hence cannot preserve the geometric relationships between landmark points or generalize well to challenging conditions or unseen data. This paper proposes a method for deep structured facial landmark detection based on combining a deep Convolutional Network with a Conditional Random Field. We demonstrate its superior performance to existing state-of-the-art techniques in facial landmark detection, especially a better generalization ability on challenging datasets that include large pose and occlusion.

연구 동기 및 목표

• 순수 딥 러닝 기법이 얼굴 랜드마크 간 기하학적 관계를 유지하는 데 한계가 있음을 해결하기 위해.
• 큰 자세 변화, 가림, 표정 변화와 같은 도전적인 조건에서의 일반화 성능 향상을 위해.
• 이전 연구에서 고정된 이원관계를 사용하는 것과 달리, 자세와 변형에 따라 변화하는 구조적 관계를 명시적으로 모델링하기 위해.
• 평균장 또는 분할 함수 근사와 같은 근사 방법을 피함으로써, 구조적 예측에서 정확한 학습과 추론을 가능하게 하기 위해.
• 특히 교차 데이터셋 평가에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 딥 컨볼루션 신경망을 특징 추출에 사용하고, 완전 연결 CRF를 통해 얼굴 랜드마크 점 간의 구조적 의존성을 모델링한다.
• CNN과 CRF를 함께 끝에서 끝까지 훈련할 수 있는 공동 학습 프레임워크를 사용하며, 음의 로그우도(NLL) 손실 함수를 적용한다.
• 학습 및 추론 단계에서 반복 최적화 과정에서 폐쇄형 해를 활용하여, 평균장과 같은 근사 추론 방법을 피한다.
• 자세 및 변형에 따라 달라지는 구조적 관계를 포착하는 변형 가능 모델 인식 CRF를 도입한다.
• 랜드마크 좌표에 대해 정규분포 우도를 사용하고, L1 평균 손실과 소프트맥스 교차 엔트로피를 함께 적용하여 회귀 안정성을 향상시킨다.
• 정확한 추론을 포함한 교대로 최적화를 적용함으로써, 더 나은 불확실성 추정과 구조적 예측이 가능해진다.

실험 결과

연구 질문

• RQ1 완전 연결 CRF 모델은 다양한 자세와 변형 조건에서 얼굴 랜드마크 간 복잡하고 변동성이 큰 기하학적 관계를 효과적으로 포착할 수 있는가?
• RQ2 CNN-CRF 프레임워크에서 정확한 학습과 추론이 근사 방법보다 도전적인 얼굴 랜드마크 검출 과제에서 더 나은 일반화 성능을 이끌 수 있는가?
• RQ3 이 놈의 방법은 가림 및 큰 자세 변화 조건에서 최신 딥 러닝 모델에 비해 정확도와 내성성 측면에서 어떻게 비교되는가?
• RQ4 원칙적인 NLL 손실 함수를 사용해 CNN과 CRF를 공동으로 훈련하는 것이 별도 훈련 또는 히우리스틱 손실에 비해 성능 향상에 얼마나 기여하는가?
• RQ5 교차 데이터셋 평가에서 모델은 예상치 못한 데이터 분포에 효과적으로 일반화할 수 있는가?

주요 결과

• 제안된 방법은 300W 테스트 세트에서 NME 2.21을 달성하여, FAN 및 SAN을 포함한 모든 최신 기법들을 능가한다.
• 300VW 교차 데이터셋 벤치마크에서 카테고리 1에서 NME 1.91을 기록하여, 다음으로 좋은 방법(CFSS, 2.44)보다 유의미하게 낮다.
• 노이즈, 저해상도, 큰 바운딩 박스 초기화에 대해 뛰어난 내성성을 보이며, 단순 CNN보다 일관되게 낮은 오차율을 기록한다.
• 제거 분석 결과, 제안된 손실(소프트맥스 + L1 평균 + 정규분포 NLL)이 표준 교차 엔트로피 손실(2.30 vs. 2.38 NME)보다 성능 향상에 기여함을 확인했다.
• 제안된 손실을 사용해 CNN과 CRF를 공동 훈련한 결과가 가장 뛰어난 성능(NME: 2.21)을 기록했으며, 별도 훈련된 모델들(2.23 NME)을 능가했다.
• 300W에서 AUC 68.1%와 FR 0.17을 기록하여 정확도와 이상치에 대한 내성성 측면에서 강력한 성능을 입증했다.