[논문 리뷰] Pose-Invariant 3D Face Alignment

Amin Jourabloo, Xiaoming Liu|arXiv (Cornell University)|2015. 06. 11.

Face recognition and analysis참고 문헌 38인용 수 27

한 줄 요약

이 논문은 3D 변형 모델을 통합한 계단식 결합 회귀기 프레임워크를 제안하여 임의의 자세(최대 ±90° 야각)에서 얼굴 이미지의 2D/3D 얼굴 랜드마크와 그들의 2D 가시성 상태를 추정한다. 3D 표면 법선을 활용해 자동으로 가시성 예측을 수행하고, 카메라 투영 행렬과 3D 형상 파라미터를 동시에 회귀함으로써, 최신 기술 수준의 2D 정렬 정확도를 달성하며, 대규모 전 자세 데이터셋에서 3D 랜드마크 추정에 대한 첫 번째 정량적 벤치마크를 제공한다. 이는 이전 방법들에 비해 뛰어난 성능을 보여준다.

ABSTRACT

Face alignment aims to estimate the locations of a set of landmarks for a given image. This problem has received much attention as evidenced by the recent advancement in both the methodology and performance. However, most of the existing works neither explicitly handle face images with arbitrary poses, nor perform large-scale experiments on non-frontal and profile face images. In order to address these limitations, this paper proposes a novel face alignment algorithm that estimates both 2D and 3D landmarks and their 2D visibilities for a face image with an arbitrary pose. By integrating a 3D deformable model, a cascaded coupled-regressor approach is designed to estimate both the camera projection matrix and the 3D landmarks. Furthermore, the 3D model also allows us to automatically estimate the 2D landmark visibilities via surface normals. We gather a substantially larger collection of all-pose face images to evaluate our algorithm and demonstrate superior performances than the state-of-the-art methods.

연구 동기 및 목표

• 특히 비면대칭 및 측면 뷰를 포함한 다양한 자세를 다룰 수 있는 강력한 얼굴 정렬 방법의 부족을 해결하기 위해.
• 2D 및 3D 얼굴 랜드마크와 그들의 2D 가시성 상태를 동시에 추정하는 통합 프레임워크를 개발하기 위해.
• 3D 표면 법선을 사용해 자동으로 가시성 예측을 수행함으로써 자세에 영향을 받지 않는 정렬의 강건성을 향상시키기 위해.
• 이전 논문에서 사용된 바와는 비교할 수 없을 정도로 훨씬 큰 전 자세 얼굴 이미지 데이터셋을 활용해 성능을 평가하기 위해.
• BP4D-S 데이터셋에서 MAPE를 보고하여 3D 얼굴 정렬에 대한 정량적 벤치마크를 제공하기 위해.

제안 방법

• 계단식 결합 회귀기 아키텍처를 설계하였으며, 각 계단에서 두 개의 회귀기를 번갈아가며 훈련한다: 하나는 카메라 투영 행렬을 업데이트하고, 다른 하나는 3D 형상 파라미터를 업데이트한다.
• 3D 변형 모델(3DMM)은 기하학적 제약 조건을 제공하며, 변환된 표면 법선의 z성분이 양수인지 여부를 확인함으로써 자동으로 가시성 예측을 가능하게 한다.
• 가시성 예측 결과는 회귀기 훈련 과정에 동적으로 통합되어, 오직 가시한 랜드마크만 외관 기반 업데이트에 기여하도록 보장한다.
• 메트릭 3D 형상(평균 3D 형상)을 초기화로 사용하고, 진동값의 차이에 따라 지도 기반으로 반복적으로 개선함으로써 개선한다.
• 프레임워크는 대규모 AFLW 데이터셋의 서브셋과 AFW 데이터셋에서 훈련 및 평가되었으며, 다양한 야각 범위를 커버한다.
• 3D 랜드마크 추정은 평균 절대 랜드마크 오차(MAPE)를 사용해 정량적으로 평가되었으며, 3D 평균 형상이 기준선으로 사용되었다.

실험 결과

연구 질문

• RQ1 회귀 기반 방법이 임의의 자세에서 2D 및 3D 얼굴 랜드마크와 그들의 2D 가시성 상태를 동시에 추정할 수 있는가?
• RQ2 3D 표면 법선을 사용해 2D 투영에서 랜드마크의 가시성을 자동으로 추정하는 데 얼마나 효과적인가?
• RQ3 3D 변형 모델을 통합하면 2D 전용 접근 방식에 비해 다양한 자세에서 정렬 정확도를 향상시킬 수 있는가?
• RQ4 실제 전 자세 데이터셋에서 3D 랜드마크 추정의 성능는 어떠하며, 3D 평균 형상 기준선과 비교해 볼 때 어떤가?
• RQ5 제안된 방법은 극단적인 자세 변화가 있는 대규모 데이터셋에서 높은 정확도와 효율성을 달성할 수 있는가?

주요 결과

• 제안된 방법은 AFLW 데이터셋에서 2D 정규화 평균 오차(NME) 6.5를 달성하여 RCPR(8.5) 및 기타 최신 기술 수준의 방법들을 능가한다.
• AFW 데이터셋에서는 NME 8.6을 기록하여 도전적인 측면 및 비면대칭 뷰에서도 일관된 우수성을 보였다.
• 3D 랜드마크 추정은 평균 절대 랜드마크 오차(MAPE) 4.75를 달성하여 3D 평균 형상 기준선(5.02)에 비해 뚜렷한 향상을 보였다.
• 3D 표면 법선을 활용해 가시성 예측을 고정밀도로 수행하였으며, 이는 학습 과정에 동적으로 통합되어 학습의 정확성을 향상시켰다.
• 최적화되지 않은 구현에서도 3.0 FPS로 실행되어 실용적인 계산 효율성을 보이며, C 기반 최적화로 추가로 향상 가능함을 시사한다.
• 정성적 결과는 극단적인 측면 뷰를 포함한 다양한 자세에서 강력한 정렬 성능을 보였으며, 정확한 가시성 예측과 정확한 랜드마크 위치 추정이 이루어졌다.