[논문 리뷰] ExpNet: Landmark-Free, Deep, 3D Facial Expressions

Feng-Ju Chang, Anh Tran외 4명|arXiv (Cornell University)|2018. 02. 02.

Face recognition and analysis참고 문헌 40인용 수 8

한 줄 요약

ExpNet는 얼굴 랜드마크 검출을 거치지 않고, 컬러 이미지 강도에서 직접 29차원 3D 얼굴 표정 계수를 회귀하는 딥 러닝 기반 접근법을 제안한다. 이는 기존 랜드마크 기반 방법에 비해 더 높은 정확도와 강인성을 보이며, 특히 척도 변화와 극단적인 자세 변화 상황에서도 뛰어난 성능을 발휘한다. 또한, 랜드마크 기반 파이프라인에 비해 수십 배에서 수백 배 빠른 속도를 제공한다.

ABSTRACT

We describe a deep learning based method for estimating 3D facial expression coefficients. Unlike previous work, our process does not relay on facial landmark detection methods as a proxy step. Recent methods have shown that a CNN can be trained to regress accurate and discriminative 3D morphable model (3DMM) representations, directly from image intensities. By foregoing facial landmark detection, these methods were able to estimate shapes for occluded faces appearing in unprecedented in-the-wild viewing conditions. We build on those methods by showing that facial expressions can also be estimated by a robust, deep, landmark-free approach. Our ExpNet CNN is applied directly to the intensities of a face image and regresses a 29D vector of 3D expression coefficients. We propose a unique method for collecting data to train this network, leveraging on the robustness of deep networks to training label noise. We further offer a novel means of evaluating the accuracy of estimated expression coefficients: by measuring how well they capture facial emotions on the CK+ and EmotiW-17 emotion recognition benchmarks. We show that our ExpNet produces expression coefficients which better discriminate between facial emotions than those obtained using state of the art, facial landmark detection techniques. Moreover, this advantage grows as image scales drop, demonstrating that our ExpNet is more robust to scale changes than landmark detection methods. Finally, at the same level of accuracy, our ExpNet is orders of magnitude faster than its alternatives.

연구 동기 및 목표

• 자연스럽지 않은 조건에서 랜드마크 검출에 의존하는 방법이 실패할 수 있는 점을 고려해, 얼굴 랜드마크 검출을 생략하는 딥 러닝 기반 3D 얼굴 표정 추정 방법을 개발하는 것.
• 랜드마크 정렬에 의존하지 않음으로써 척도 변화, 평면 외 회전, 가림 현상에 대한 강인성을 향상시키는 것.
• 재구성 오차가 아닌, 얼굴 정서 인식 벤치마크에서의 최종 성능을 기준으로 표정 품질을 평가하는 것.
• 직접 이미지 강도에서 3D 표정 계수를 회귀하는 방식이 랜드마크 기반 접근법보다 더 구분력 있고 일반화 능력이 뛰어난 표현을 생성할 수 있음을 입증하는 것.
• 다단계 처리를 피함으로써 랜드마크 기반 파이프라인에 비해 훨씬 더 빠른 추론 속도를 달성하는 것.

제안 방법

• ExpNet는 얼굴 랜드마크 검출을 거치지 않고, 원시적인 얼굴 이미지 강도에서 직접 29차원 3D 표정 계수를 회귀하는 딥 컨volution 네트워크이다.
• 네트워크는 다양한 표정, 자세, 조명 조건을 가진 3DMM 기반의 대규모 합성 데이터셋을 사용하여 훈련되며, 예측값과 진짜 표정 계수 간의 차이를 최소화하는 손실 함수를 적용한다.
• 합성 데이터의 레이블 노이즈 문제를 해결하기 위해, 훈련 중에 노이즈가 있는 지도 학습에 대해 딥 네트워크의 강인성을 활용한다.
• 3DMM 기반의 형태 사전은 모든 샘플에 공통으로 사용되며 고정되어 있어, 네트워크가 표정 추정에만 집중할 수 있도록 한다.
• 두 단계 훈련 전략을 사용한다: 먼저 다양한 표정을 가진 합성 데이터에서 사전 훈련을 수행하고, 이후 약한 지도 신호를 가진 실제 데이터에서 미세 조정한다.
• 평가에서는 CK+와 EmotiW-17에서 추정된 표정 계수를 선형 SVM 분류기의 특징으로 사용하여 정서 인식 정확도를 측정한다.

실험 결과

연구 질문

• RQ1 얼굴 랜드마크 검출에 의존하지 않고도 이미지 강도에서 3D 얼굴 표정 계수를 정확하게 추정할 수 있는가?
• RQ2 극단적인 척도 변화와 자세 변화 조건에서, 랜드마크 기반 방법에 비해 랜드마크 없는 표정 추정 방법의 정서 인식 정확도는 어떻게 비교되는가?
• RQ3 제안된 방법이 가림 현상과 극단적인 머리 자세를 가진 실외 환경의 얼굴 이미지에 얼마나 잘 일반화되는가?
• RQ4 랜드마크 기반의 다단계 파이프라인에 비해, 랜드마크 없는 접근법의 추론 속도는 어떻게 비교되는가?
• RQ5 추정된 표정 계수가 랜드마크 기반 방법보다 미묘한 정서적 뉘앙스를 더 잘 포착할 수 있는가?

주요 결과

• ExpNet는 CK+와 EmotiW-17 벤치마크에서 평가된 모든 방법 중에서 가장 높은 정서 인식 정확도를 기록했으며, 최신 랜드마크 기반 방법인 CLNF를 능가했다.
• 이미지 척도가 감소할수록 ExpNet와 랜드마크 기반 방법 간의 성능 격차가 크게 증가하여, 척도 변화에 대한 강인성이 뛰어나다는 것을 입증했다.
• ExpNet는 랜드마크 기반 대안들보다 최소 한 계단 이상 더 빠른 속도를 보였으며, 3DDFA와 같은 엔드 투 엔드 딥 네트워크 수준의 추론 시간을 유지하면서도, 다단계 파이프라인의 계산 오버헤드를 피했다.
• 정성적 결과에서는 ExpNet가 공포나 분노와 같은 미묘한 표정을 더 잘 포착하는 것으로 나타났으며, 3DDFA와 CE-CLM에서 관찰된 과도한 과장이나 척도 일관성 문제를 피했다.
• 다만, 놀라움과 같은 극단적인 표정에서는 3DDFA가 더 시각적으로 타당한 결과를 내는 반면, 정확도는 떨어지는 경향이 있었다.
• 실제로 자연스럽고 제약 없는 환경의 이미지에 대해서도 잘 일반화되어 있으며, 극단적인 자세, 가림 현상, 저해상도의 얼굴 이미지에서도 성공적으로 표정을 추정했다.