[논문 리뷰] Coarse-to-fine Face Alignment with Multi-Scale Local Patch Regression

Zhiao Huang, Erjin Zhou외 1명|arXiv (Cornell University)|2015. 11. 16.

Face recognition and analysis참고 문헌 1인용 수 14

한 줄 요약

이 논문은 다중 척도 국소 패치 회귀를 사용한 군중에서의 얼굴 정렬 방법을 제안한다. 초기 전역 딥 네트워크가 특징점을 예측한 후, 정확도를 향상시키기 위해 다중 척도 국소 패치를 통해 반복적인 보완이 이루어진다. 이 방법은 300-W 데이터셋에서 최신 기술 수준의 성능을 달성하여 전체 테스트 세트에서 평균 오차를 4.54개의 정규화된 픽셀로 감소시켰다.

ABSTRACT

Facial landmark localization plays an important role in face recognition and analysis applications. In this paper, we give a brief introduction to a coarse-to-fine pipeline with neural networks and sequential regression. First, a global convolutional network is applied to the holistic facial image to give an initial landmark prediction. A pyramid of multi-scale local image patches is then cropped to feed to a new network for each landmark to refine the prediction. As the refinement network outputs a more accurate position estimation than the input, such procedure could be repeated several times until the estimation converges. We evaluate our system on the 300-W dataset [11] and it outperforms the recent state-of-the-arts.

연구 동기 및 목표

• 큰 자세, 조명 및 표정 변화가 있는 도전적인 군중 환경에서 얼굴 특징점 정렬을 향상시키기 위해.
• 순차적 보완을 통해 특징점 예측 정확도를 향상시키는 종단 간 엔드 투 엔드의 군중에서의 정렬 프레임워크를 개발하기 위해.
• 각 특징점을 위한 정밀한 국소적 회귀를 가능하게 하기 위해 다중 척도 국소 이미지 패치를 활용하기 위해.
• 300-W 벤치마크 데이터셋에서 기존 최신 기술 수준의 방법들을 능가하기 위해.

제안 방법

• 전체 얼굴 이미지를 처리하여 初기 특징점 추정치를 생성하기 위해 전역 컨볼루션 신경망을 사용한다.
• 추정된 체력과 평면 내 회전을 사용하여 얼굴를 기하학적으로 표준화하여 자세 변화를 정규화한다.
• 각 특징점 중심의 다중 척도 국소 이미지 패치를 처리하는 보완 네트워크의 시리즈를 통해 위치 추정치를 향상시킨다.
• 각 보완 네트워크는 다중 척도 패치의 피라미드를 입력으로 받아 더 정확한 특징점 위치를 출력한다.
• 최종 예측치는 여러 네트워크에서 평균을 내어 반복적으로 적용된 보완 과정을 통해 수렴할 때까지 반복적으로 적용된다.
• 선형 최소 제곱 회귀를 사용하여 MFLD 데이터셋의 81개 특징점 좌표를 평가를 위해 68개 특징점의 300-W 표준으로 매핑한다.

실험 결과

연구 질문

• RQ1 다중 척도 국소 패치 회귀를 포함한 군중에서의 정렬 파이프라인은 군중 환경의 얼굴 이미지에서 특징점 정렬 정확도를 향상시킬 수 있는가?
• RQ2 단일 단계 회귀에 비해 국소 패치를 사용한 반복적 보완은 정렬 오차 감소에 얼마나 효과적인가?
• RQ3 다중 척도 패치의 사용은 자세, 조명 및 표정 변화에 대한 강건성을 향상시키는가?
• RQ4 제안된 방법은 300-W 벤치마크에서 기존 최신 기술 수준의 방법들을 얼마나 능가하는가?

주요 결과

• 군중에서의 정렬 파이프라인은 특징점 정렬 정확도를 크게 향상시키며, MFLD 테스트 세트에서 정규화된 평균 오차를 5.93에서 4.15로 감소시켰다.
• 보완 과정은 각 단계에서 성능을 향상시키며, 초기 단계에서의 오차 5.93에서 세 번의 보완 단계 이후 4.15로 감소하였다.
• 300-W 데이터셋에서 전체 테스트 세트에서 정규화된 평균 오차가 4.54로 측정되어 이전의 모든 최신 기술 수준의 방법들을 능가하였다.
• 특히 도전적인 iBUG 서브셋에서도 높은 정확도를 유지하였으며, 평균 오차는 7.46개의 정규화된 픽셀이었다.
• 결과적으로 다중 척도 국소 패치 회귀는 큰 변화가 있는 환경에서도 강건하고 정확한 특징점 보완을 가능하게 한다.
• 보완 네트워크의 반복적 적용은 수렴을 이끌어내며 일관된 성능 향상을 가져왔다.