[논문 리뷰] A Detailed Look At CNN-based Approaches In Facial Landmark Detection

Chih-Fan Hsu, Chia-Ching Lin외 3명|arXiv (Cornell University)|2020. 05. 08.

Face recognition and analysis참고 문헌 35인용 수 8

한 줄 요약

이 논문은 모델 아키텍처를 변경하지 않고도 여섯 가지 기준 데이터셋에서 정확도를 크게 향상시키기 위해 하이브리드 손실 함수와 식별 네트워크를 사용하는 새로운 픽셀 단위 분류(PWC) 모델을 제안한다. 이는 얼굴 랜드마크 검출을 위한 것으로, 랜드마크 간 상호관계를 강화함으로써 성능을 향상시킨다. 이 방법은 기존의 회귀 및 히트맵 기반 방법보다 뛰어나며, 특히 가림 및 도전적인 조건에서도 뛰어난 성능을 보인다.

ABSTRACT

Facial landmark detection has been studied over decades. Numerous neural network (NN)-based approaches have been proposed for detecting landmarks, especially the convolutional neural network (CNN)-based approaches. In general, CNN-based approaches can be divided into regression and heatmap approaches. However, no research systematically studies the characteristics of different approaches. In this paper, we investigate both CNN-based approaches, generalize their advantages and disadvantages, and introduce a variation of the heatmap approach, a pixel-wise classification (PWC) model. To the best of our knowledge, using the PWC model to detect facial landmarks have not been comprehensively studied. We further design a hybrid loss function and a discrimination network for strengthening the landmarks' interrelationship implied in the PWC model to improve the detection accuracy without modifying the original model architecture. Six common facial landmark datasets, AFW, Helen, LFPW, 300-W, IBUG, and COFW are adopted to train or evaluate our model. A comprehensive evaluation is conducted and the result shows that the proposed model outperforms other models in all tested datasets.

연구 동기 및 목표

• 얼굴 랜드마크 검출을 위한 CNN 기반의 회귀 및 히트맵 접근법을 체계적으로 분석하고 비교하기 위해.
• 다소 간과된 픽셀 단위 분류(PWC) 모델이 얼굴 랜드마크 검출에 어떻게 적용될 수 있으며, 그 고유한 이점과 제약 사항은 무엇인지 탐구하기 위해.
• 회귀와 히트맵 감독을 결합한 하이브리드 손실 함수를 도입하여 PWC 기반 랜드마크 검출 정확도를 향상시키기 위해.
• 랜드마크 상호관계를 강조하는 식별 네트워크를 사용하여 랜드마크 일관성과 형태 충실도를 향상시키기 위해.
• 다양한 조건, 특히 가림 상태를 포함한 여섯 가지 표준 얼굴 랜드마크 데이터셋에서 제안된 방법을 종합적으로 평가하기 위해.

제안 방법

• PWC 모델은 각 랜드마크를 별도의 픽셀 단위 분류 작업으로 간주하며, CNN 기반 백본을 사용해 각 랜드마크의 히트맵을 예측한다.
• 하이브리드 손실 함수는 좌표 회귀를 위한 L2 손실과 히트맵 감독을 위한 교차 엔트로피 손실을 결합하여 정위치 정확도를 향상시킨다.
• 식별 네트워크는 실제 랜드마크 구성과 생성된 랜드마크 구성 간을 구분하도록 훈련되며, 모델이 자연스러운 얼굴 형태를 학습하도록 유도한다.
• 식별 네트워크는 검출 네트워크와 함께 엔드 투 엔드로 훈련되며, 추론 시간에 영향을 주지 않는다.
• 모델은 AFW, Helen, LFPW, 300-W, IBUG, COFW 여섯 개의 데이터셋에서 훈련 및 평가되며, 가림 상태 포함 서브셋도 포함된다.
• 아키텍처는 그대로 유지되며, 성능 향상 요인은 손실 함수와 식별 네트워크 설계에 기인한다.

실험 결과

연구 질문

• RQ1 CNN 기반의 회귀 및 히트맵 접근법은 얼굴 랜드마크 검출에서 정확도, 내성성, 형태 일관성 측면에서 어떻게 비교될 수 있는가?
• RQ2 픽셀 단위 분류(PWC) 모델은 얼굴 랜드마크 검출에 효과적으로 적용될 수 있으며, 그 고유한 이점과 제약 사항은 무엇인가?
• RQ3 회귀와 히트맵 감독을 융합한 하이브리드 손실 함수는 PWC 기반 랜드마크 검출 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 랜드마크 상호관계를 강조하는 식별 네트워크가 검출 정확도와 형태 충실도를 어떻게 향상시키는가?
• RQ5 이러한 도전적인 조건, 예를 들어 가림이나 극단적인 표정 변화 상황에서 제안된 모델은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 하이브리드 손실과 식별 네트워크를 갖춘 PWC 모델은 여섯 기준 데이터셋(AFW, Helen, LFPW, 300-W, IBUG, COFW)에서 모든 베이스라인 모델보다 뛰어난 성능을 보였다.
• COFW 데이터셋에서 하이브리드+식별 모델은 테스트된 이미지의 80%에서 다른 모델보다 더 높은 정확도를 달성했으며, 특히 심한 가림 상황에서 뛰어난 성능을 보였다.
• 68개의 얼굴 랜드마크에 대해 하이브리드+식별 모델은 모든 테스트 모델 중에서 가장 낮은 NMSE를 기록했으며, 특히 가림 상황에서 뚜렷한 향상이 있었다.
• 식별 네트워크는 검출 정확도를 떨어뜨리지 않고도 랜드마크 형태의 일관성을 향상시켰으며, 추론 시간에 영향을 주지 않았다.
• 하이브리드 손실 함수는 형태의 모호성이나 부분적 가림으로 인한 랜드마크 이동을 효과적으로 줄였으며, 정량적 및 정성적 결과로 이를 입증했다.
• 모델은 랜드마크가 부분적으로 가려진 경우에도 높은 정확도를 유지했으며, 가림 상태에서 70%의 경우에서 회귀 모델과 표준 히트맵 모델을 모두 능가했다.