[논문 리뷰] Super-realtime facial landmark detection and shape fitting by deep regression of shape model parameters

Marcin Kopaczka, Justus Schock외 1명|arXiv (Cornell University)|2019. 02. 09.

Face recognition and analysis참고 문헌 9인용 수 5

한 줄 요약

이 논문은 주어진 이미지에서 주성분 분석 기반 통계적 형태 모델의 형태 모델 파라미터를 직접 회귀하여 반복 최적화를 생략하는 초실시간 얼굴 랜드마크 검출 방법을 제안한다. 주성분 분석 레이어를 네트워크에 통합하여 엔드 투 엔드 미분 가능한 훈련을 가능하게 함으로써, 단일 GPU에서 410 FPS의 높은 속도를 달성하면서도 RGB, 열화상, 의료 영상 등 다양한 데이터셋에서 높은 정확도를 유지한다.

ABSTRACT

We present a method for highly efficient landmark detection that combines deep convolutional neural networks with well established model-based fitting algorithms. Motivated by established model-based fitting methods such as active shapes, we use a PCA of the landmark positions to allow generative modeling of facial landmarks. Instead of computing the model parameters using iterative optimization, the PCA is included in a deep neural network using a novel layer type. The network predicts model parameters in a single forward pass, thereby allowing facial landmark detection at several hundreds of frames per second. Our architecture allows direct end-to-end training of a model-based landmark detection method and shows that deep neural networks can be used to reliably predict model parameters directly without the need for an iterative optimization. The method is evaluated on different datasets for facial landmark detection and medical image segmentation. PyTorch code is freely available at https://github.com/justusschock/shapenet

연구 동기 및 목표

• 다양한 영상 모odal리티에서 높은 정밀도와 강건성을 확보한 초실시간 얼굴 랜드마크 검출을 가능하게 하기 위해.
• 활성 형태 모델과 같은 반복 기반 모델 피팅 방법의 계산 병목 현상을 해결하기 위해 최적화를 직접적인 딥 레그리션으로 대체하기 위해.
• 엔드 투 엔드 훈련과 빠른 추론을 가능하게 하기 위해 주성분 분석 기반 형태 모델을 미분 가능한 신경망 레이어로 통합하기 위해.
• 얼굴 검출을 초월해 의료 영상 및 열화상 영상과 같은 비시각적 모달리티에서의 다른 형태 피팅 작업으로의 일반화를 위해.
• 반복 보정에 의존하는 것을 줄이고, 경량의 완전 컨볼루션 아키텍처를 사용해 입력 영상에서 형태 파라미터 예측을 직접 학습하기 위해.

제안 방법

• 특징 추출을 위해 경량의 완전 컨볼루션 신경망을 사용하여 완전 연결 층을 회피함으로써 파rameter 수를 줄이고 속도를 향상시킴.
• 새로운 미분 가능한 주성분 분석 레이어가 예측된 파라미터로 가중된 형태 고유벡터의 선형 조합으로 최종 랜드마크 위치를 계산하여 엔드 투 엔드 역전파를 가능하게 함.
• 전역 변환 파라미터(이동, 스케일, 회전)는 별도로 예측하고, 이를 기준 형태에 적용하여 이미지 좌표계와 정렬함.
• 이미지 축을 따라 공간적으로 분리된 컨볼루션을 사용하여 파rameter 수를 추가로 줄이고 효율성을 유지함.
• 예측된 랜드마크와 진짜 랜드마크 사이의 정규화된 점 대 점 오차를 최소화하는 미분 가능한 손실 함수를 사용해 엔드 투 엔드로 훈련함.
• 아키텍처는 데이터셋 간에 동일하게 적용되며, 모달리티에 따라 형태 파라미터 수와 입력 전처리만 조정됨.

실험 결과

연구 질문

• RQ1 형태 모델 파라미터의 딥 레그리션은 반복 최적화를 대체하면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 딥 신경망에 통합된 미분 가능한 주성분 분석 레이어는 엔드 투 엔드 훈련과 초실시간 추론을 얼마나 잘 가능하게 하는가?
• RQ3 RGB, 열화상, 의료 영상 등 대비, 해상도, 외관이 다양한 다양한 영상 모달리티에서 이 방법은 얼마나 일반화되는가?
• RQ4 300W, 열화상 얼굴, 고양이, JSRT, PROMISE12 등의 벤치마크 데이터셋에서 이 방법의 속도 및 정확도 성능은 어떠한가?
• RQ5 전역 변환 파라미터의 포함은 모델 복잡도 증가 없이 머리 자세 및 이미지 스케일 변화에 대한 강건성을 향상시키는가?

주요 결과

• 반정밀도 추론을 사용할 경우 지포스 RTX 2080 Ti에서 410 FPS를 달성하며, 형태 파라미터 수에 관계없이 일관된 속도를 유지함.
• 300W 데이터셋에서 실외 세트에서는 정규화된 점 대 점 오차가 0.0126, 실내 세트에서는 0.0108을 기록하여 제약 없는 조건에서도 높은 정확도를 입증함.
• 열화상 얼굴 데이터셋에서는 정규화 오차가 0.0102를 기록하며, 더 도전적인 RGB 데이터셋보다 뛰어난 성능을 보이며, 이는 통제된 촬영 조건 때문일 가능성이 큼.
• 자세와 품종의 변동성이 높은 고양이 데이터셋에서는 정규화 오차가 0.0211을 기록하여, 소수의 랜드마크와 높은 시각적 변동성에 대해 강건함을 입증함.
• 저대비, 소규모 데이터셋인 JSRT 폐 레이저 영상 데이터셋에서는 단지 25개의 형태 파라미터로도 정규화 오차 0.0238을 달성하여, 저대비, 소규모 의료 영상에서의 효과성을 보임.
• PROMISE12 전립선 MRI 데이터셋의 2D 슬라이스에서는 정규화 오차 0.0281을 기록하여, 형태 변동성이 낮은 3D 의료 구조에 적용 가능함을 확인함.