[논문 리뷰] Face Alignment by Local Deep Descriptor Regression

Amit Kumar, Rajeev Ranjan외 2명|arXiv (Cornell University)|2016. 01. 29.

Face recognition and analysis참고 문헌 44인용 수 20

한 줄 요약

이 논문은 얼굴 정렬을 위한 Local Deep Descriptor Regression(LDDR)을 제안한다. 이 방법은 깊이 신경망을 사용해 얼굴의 각 랜드마크 주변에서 국소적이고 구별 가능한 기술자를 추출하고, 이를 바탕으로 정확한 랜드마크 위치를 예측한다. 이 접근법은 5개의 비제약 얼굴 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, SIFT 및 HOG 기반 기존 방법들을 능가한다.

ABSTRACT

We present an algorithm for extracting key-point descriptors using deep convolutional neural networks (CNN). Unlike many existing deep CNNs, our model computes local features around a given point in an image. We also present a face alignment algorithm based on regression using these local descriptors. The proposed method called Local Deep Descriptor Regression (LDDR) is able to localize face landmarks of varying sizes, poses and occlusions with high accuracy. Deep Descriptors presented in this paper are able to uniquely and efficiently describe every pixel in the image and therefore can potentially replace traditional descriptors such as SIFT and HOG. Extensive evaluations on five publicly available unconstrained face alignment datasets show that our deep descriptor network is able to capture strong local features around a given landmark and performs significantly better than many competitive and state-of-the-art face alignment algorithms.

연구 동기 및 목표

• 전역적 깊이 특징의 한계를 해결하기 위해 미세한 픽셀 수준의 정보를 포착하는 국소적 특징 기술자를 개발함으로써 얼굴 정렬 성능을 향상시키는 것.
• SIFT 및 HOG와 같은 전통적인 수작업 특징 기술자를 더 구별력 있고 자세, 조명, 부분 가림에 대해 더 강건한 깊이 기반 특징 기술자로 대체하는 것.
• 반복적으로 랜드마크 예측을 정밀하게 다듬는 회귀 기반 프레임워크에서 국소적 깊이 기술자를 활용하여 얼굴 정렬 정확도를 향상시키는 것.
• 여러 개의 CNN을 하나의 모델로 융합하여 테스트 시 추론 시간을 단축시킴으로써 실시간 성능을 달성하는 것.

제안 방법

• 각 랜드마크 점 중심의 작은 이미지 패치에서 국소적 특징 기술자를 추출할 수 있도록 맞춤형 깊이 컨volution 신경망을 훈련한다. 이는 픽셀 수준의 정확한 국소화를 가능하게 한다.
• 훈련 중에 각 랜드마크에 대한 깊이 기술자가 형상 인덱스 기반 특징 벡터로 연결되며, 이는 선형 회귀를 통해 형상 증분을 예측하는 데 사용된다.
• 반복적 정밀도 향상 기법을 사용한다: 평균 형상에서 초기 형상을 예측하고, 각 반복 단계에서 학습된 회귀 가중치를 적용하여 깊이 기술자를 사용해 랜드마크 위치를 업데이트한다.
• 일반화 성능 향상을 위해 무작위 회전 및 반전을 통한 데이터 증강 기법을 적용하여 기하학적 변환을 명시적으로 적용하지 않고도 훈련 다양성을 증가시킨다.
• 테스트 시간을 단축시키기 위해 네 개의 단계별 특화 CNN을 하나의 공유 네트워크로 통합하고, 68개의 랜드마크 패치를 배치로 처리함으로써 추론 시간을 80% 감소시켰다.
• 깊이 기술자 네트워크는 ImageNet에서 사전 훈련된 후 얼굴 정렬 데이터셋에서 미세 조정되어 국소적 특징 표현 능력을 향상시켰다.

실험 결과

연구 질문

• RQ1 깊이 컨volution 신경망이 전통적인 수작업 특징 기술자(SIFT, HOG 등)를 대체할 수 있는 국소적이고 고유한 기술자를 각 픽셀 또는 랜드마크 점에 대해 효과적으로 추출할 수 있는가?
• RQ2 회귀 기반 얼굴 정렬 프레임워크에서 국소적 깊이 기술자를 사용할 경우 다양한 비제약 얼굴 데이터셋에서 정확도 향상이 이루어지는가?
• RQ3 제안된 방법의 성능는 SIFT, HOG 또는 기타 수작업 특징 기술자를 사용하는 최신 기술 수준의 얼굴 정렬 알고리즘과 비교해 어떻게 되는가?
• RQ4 데이터 증강 및 모델 융합 기법을 통해 실시간 응용에서 높은 정확도를 유지하면서 추론 시간을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 깊이 기술자 네트워크는 누적 데이터로 훈련된 후 Helen 데이터셋(68점)에서 평균 오차 4.76%를 기록했으며, LFPW 데이터셋에서는 4.67%를 기록하여 SIFT 및 HOG를 사용한 기존 방법들을 능가했다.
• 도전적인 iBUG 300-W 데이터셋에서 LDDR는 68점 정렬 시 평균 오차 11.49%를 기록했으며, LBF 및 CFAN과 같은 여러 이전 방법들을 초월했다.
• 네 개의 CNN을 하나로 융합하고 랜드마크 패치를 배치로 처리함으로써 테스트 시간을 약 4초에서 약 0.8초로 단축시켜 거의 실시간 성능을 달성했다.
• 회전 및 반전을 통한 증강 데이터로 훈련한 결과 일반화 성능 향상과 약 2%의 오차 감소를 확인하여 깊이 기술자의 강건성을 입증했다.
• Helen의 49점 부분집합에서 2.36%의 평균 오차를 기록하여, 내부 얼굴 랜드마크보다 더 도전적인 외곽선 랜드마크에서도 뛰어난 성능을 보였다.
• 깊이 기술자가 매우 구별력이 있음을 입증하였으며, 단일 평균 형상으로 초기화되어도 높은 정확도를 달성하는 반면, 여러 초기화가 필요한 기존 방법들과는 대조된다.