[논문 리뷰] Facial Landmark Detection with Tweaked Convolutional Neural Networks

Yue Wu, Tal Hassner외 3명|arXiv (Cornell University)|2015. 11. 12.

Face recognition and analysis참고 문헌 37인용 수 25

한 줄 요약

이 논문은 사전 훈련된 CNN의 중간 특징을 활용하여 후속 레이어에서 자세에 특화된 처리를 적용함으로써 얼굴 랜드마크 검출 성능을 향상시키는 튜닝된 컨볼루션 신경망(TCNN)을 제안한다. 이러한 정렬 민감한 특징에 기반해 최종 레이어를 미세 조정함으로써 TCNN은 다중 부분 또는 다중 스케일 아키텍처가 필요 없이 AFLW, AFW 및 300W 벤치마크에서 최신 기술 성능(SOTA)을 달성하며, 더 적은 레이블로도 더 높은 정확도와 강건성을 확보한다.

ABSTRACT

We present a novel convolutional neural network (CNN) design for facial landmark coordinate regression. We examine the intermediate features of a standard CNN trained for landmark detection and show that features extracted from later, more specialized layers capture rough landmark locations. This provides a natural means of applying differential treatment midway through the network, tweaking processing based on facial alignment. The resulting Tweaked CNN model (TCNN) harnesses the robustness of CNNs for landmark detection, in an appearance-sensitive manner without training multi-part or multi-scale models. Our results on standard face landmark detection and face verification benchmarks show TCNN to surpasses previously published performances by wide margins.

연구 동기 및 목표

• 자세 변화, 가림, 표정 변화와 같은 제약 조건이 있는 환경에서의 얼굴 랜드마크 검출을 향상시키기 위해.
• 랜드마크 회귀를 위해 훈련된 CNN의 중간 특징을 분석하고, 이들이 얼굴 정렬 정보를 포함하고 있음을 보여주기 위해.
• 다중 부분 또는 다중 스케일 모델이 필요 없이 자세 인식 중간 특징에 기반한 차별적 처리를 적용하는 새로운 CNN 아키텍처를 설계하기 위해.
• 높은 정확도를 유지하면서도 대규모 보조 데이터나 복잡한 아키텍처에 대한 의존도를 줄이기 위해.
• Janus 벤치마크를 사용해 얼굴 인식과 같은 후속 작업에서의 방법의 유용성을 입증하기 위해.

제안 방법

• 표준 CNN에서 훈련된 랜드마크 회귀를 위해 중간 특징을 분석하고, 이들이 얼굴 정렬과 자세를 반영하고 있음을 보여준다.
• 자세 클러스터에 기반해 중간 레이어의 특징 맵을 분할하고, K개의 별도로 미세 조정된 완전 연결 브랜치로 라우팅하는 튜닝된 CNN(TCNN)을 도입한다.
• 각 브랜치는 특정 머리 자세에 해당하는 훈련 데이터 하위집합에서 미세 조정되며, 다양한 자세에 맞는 특화된 처리가 가능해진다.
• 자세 추정에 기반해 기하학적 변환을 적용하여 이미지를 변형함으로써 훈련 데이터를 확장하는 새로운 데이터 증강 전략을 도입하여, 미세 조정 동안 일반화 능력을 향상시킨다.
• 일반적인 특징 추출을 위해 공유되는 초기 컨볼루션 레이어를 유지하면서도, 자세에 특화된 적응은 오직 최종 레이어에서만 적용하여 과적합 위험을 줄인다.
• 5개의 검출된 랜드마크를 49점 또는 68점 검출기(CLNF 등)의 초기화로 사용함으로써 300W 벤치마크에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 랜드마크 회귀를 위해 훈련된 CNN의 중간 특징이 의미 있는 자세 및 정렬 정보를 포함할 수 있는가?
• RQ2 후속 네트워크 레이어의 자세에 특화된 미세 조정이 모델 복잡도를 증가시키지 않으면서도 랜드마크 검출 정확도를 향상시킬 수 있는가?
• RQ3 중간 특징을 활용해 특징을 동적 라우팅하는 방식이 기존 CNN 또는 다중 부분 모델보다 더 높은 성능을 낼 수 있는가?
• RQ4 자세 인식 특징을 갖춘 경량 단일 브랜치 CNN이 더 복잡한 다중 스케일 또는 다중 부분 모델을 능가할 수 있는가?
• RQ5 향상된 랜드마크 검출이 얼굴 인식과 같은 후속 작업을 향상시킬 수 있는가?

주요 결과

• TCNN은 300W 벤치마크에서 최신 기술 성능를 달성하며, 49점 검출 시 평균 오차율(MER)이 1.74이고, 68점 검출 시 3.49로 기존 방법을 능가한다.
• AFLW 벤치마크에서 TCNN은 49점 검출 시 평균 오차율이 1.74이고, 68점 검출 시 3.49로 일관된 향상을 보였다.
• AFW 벤치마크에서 TCNN은 49점 검출 시 평균 오차율이 1.74로 도전적인 제약 조건이 있는 데이터에서 강력한 일반화 능력을 보였다.
• TCNN 출력에서 더 나은 랜드마크 정렬을 활용하여 Janus 벤치마크에서 얼굴 인식 정확도가 향상되었다.
• TCNN에서 추출한 5개의 랜드마크를 CLNF의 초기화로 사용함으로써 300W에서 49점 및 68점 검출 정확도가 크게 향상되었으며, 표준 초기화를 사용한 방법보다 뛰어난 성능을 보였다.
• 네트워크의 첫 번째 완전 연결 레이어(FC5)에서 유도된 중간 특징은 잘 정렬된 얼굴 클러스터를 생성하여 강력한 자세 및 정렬 표현 능력을 나타낸다.