[논문 리뷰] Facial Key Points Detection using Deep Convolutional Neural Network - NaimishNet

Naimish Agarwal, Artus Krohn-Grimberghe외 1명|arXiv (Cornell University)|2017. 10. 03.

Face recognition and analysis참고 문헌 11인용 수 7

한 줄 요약

이 논문은 LeNet 기반의 딥 컨volution 신경망인 NaimishNet을 제안하며, 얼굴 키포인트 검출에 대해 제안한다. ELU 활성화 함수, 점진적 드롭아웃, 잔차형 훈련을 활용하여 15점 얼굴 키포인트 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 모든 키포인트에 대해 평균 테스트 RMSE가 1.03이다.

ABSTRACT

Facial Key Points (FKPs) Detection is an important and challenging problem in the fields of computer vision and machine learning. It involves predicting the co-ordinates of the FKPs, e.g. nose tip, center of eyes, etc, for a given face. In this paper, we propose a LeNet adapted Deep CNN model - NaimishNet, to operate on facial key points data and compare our model's performance against existing state of the art approaches.

연구 동기 및 목표

• 다양한 자세, 조명 조건, 얼굴의 변형에 대응하여 정확한 얼굴 키포인트 검출을 위한 경량이고 효율적인 딥 러닝 모델을 개발하기 위해.
• 배치 정규화와 드롭아웃을 사용한 컨volution 및 완전 연결 계층을 활용하여 LeNet 아키텍처를 회귀 기반 얼굴 키포인트 예측에 적응시키기 위해.
• 점진적 드롭아웃 비율과 ELU 활성화 함수를 통해 일반화 능력을 향상시키고 과적합을 줄이기 위해.
• 15개의 얼굴 키포인트 레이블이 있는 표준 벤치마크 데이터셋에서 성능을 평가하기 위해.
• 기존 최신 기술 수준의 모델들과의 비교를 통해 NaimishNet의 성능을 평가하기 위해.

제안 방법

• NaimishNet은 ELU 활성화 함수와 점진적 드롭아웃(0.1에서 0.6으로)을 사용하는 4개의 컨볼루션, 4개의 맥스 풀링, 3개의 완전 연결 계층 아키텍처를 사용한다.
• 네트워크는 그레이스케일 96×96 입력 이미지를 처리하며, 컨볼루션 계층에서 0 패딩을 사용하지 않으며, 필터 크기가 (4,4)에서 (1,1)으로 점차 감소한다.
• 가중치 초기화는 Glorot 균일 분포를 사용하며, 최종 출력 계층은 선형 활성화 함수를 사용하여 각 얼굴 키포인트에 대해 2D 좌표(x, y)를 예측한다.
• 모델은 고정 학습률 0.001을 사용하는 Adam 옵timizer를 사용하며, 평균 제곱 오차(MSE) 손실을 최소화한다.
• 검증 손실 기반 조기 정지 전략을 사용하여 최대 300 에포크 동안 훈련을 수행하며, 일정 간격으로 모델 체크포인트를 저장한다.
• 데이터 증강 및 사전 처리 기법으로 히스토그램 스트레칭과 이미지 플립을 고려하였지만, 최종 모델에는 명시적으로 적용하지는 않았다.

실험 결과

연구 질문

• RQ1 최소한의 아키텍처 복잡성으로 수정된 LeNet 아키텍처가 얼굴 키포인트 검출에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 점진적 드롭아웃 비율과 ELU 활성화 함수는 키포인트 회귀에서 모델의 일반화 능력과 수렴 특성에 어떤 영향을 미치는가?
• RQ3 제한된 데이터로 얼굴 키포인트 검출에서 과적합을 최소화하기 위한 최적의 훈련 스케줄링 및 조기 정지 전략은 무엇인가?
• RQ4 NaimishNet은 Longpre 등과 Oneto 등의 기존 모델들과 비교하여 15개의 얼굴 키포인트 타겟에서 RMSE 측면에서 얼마나 우수한 성능을 보이는가?
• RQ5 모델은 자세, 조명, 표정 등의 다양한 얼굴 변형에 대해 어느 정도 일반화되는가?

주요 결과

• NaimishNet은 모든 15개의 얼굴 키포인트 타겟에 대해 평균 테스트 RMSE가 1.03을 기록하여 강력한 일반화 능력과 내구성을 보였다.
• 모든 키포인트 유형에서 일관된 수렴을 보였으며, 훈련 및 검증 RMSE 곡선이 유사하게 유지되어 과적합이 최소화된 것으로 나타났다.
• 대부분의 키포인트 타겟에서 300 에포크 이전에 최적의 모델 체크포인트가 도달하여 효율적인 훈련 다이내믹스를 보였다.
• 왼쪽 및 오른쪽 눈 중심의 손실 곡선(그림 5 및 6)은 미세한 진동 없이 매끄럽고 단조롭게 감소하여 안정적인 최적화를 나타냈다.
• Kaggle 벤치마크에서의 낮은 RMSE 점수를 통해 기존 접근 방식인 Longpre 등과 Oneto 등의 모델을 초월하는 성능을 보였다.
• 코 꼬리의 최고 성능 모델은 테스트 RMSE가 0.37이었고, 가장 낮은 성능는 왼쪽 눈 중심에서 6.87이었으며, 이는 키포인트 타입 간의 난이도 차이를 보여주었다.