[논문 리뷰] FEAFA: A Well-Annotated Dataset for Facial Expression Analysis and 3D Facial Animation

Yanfu Yan, Ke Lü외 3명|arXiv (Cornell University)|2019. 04. 02.

Face recognition and analysis참고 문헌 33인용 수 4

한 줄 요약

FEAFA는 실제 환경에서 촬영된 122명의 참가자로부터 수작업으로 99,356개의 영상 프레임을 확보한 새로운 고해상도 얼굴 표정 데이터셋이다. 이 데이터셋은 9개의 대칭적이고 10개의 비대칭적 FACS 행동 단위(AU)에 대해 연속적이고 실수형 강도 값(0–1)을 제공하며, 4개의 기술자 표기까지 포함하여 딥 컨volution 네트워크를 통한 정밀한 AU 강도 회귀와 3D 재구성 없이 2D 영상 예측에서 블렌드쉐이프 모델을 구동함으로써 3D 얼굴 애니메이션을 가능하게 한다.

ABSTRACT

Facial expression analysis based on machine learning requires large number of well-annotated data to reflect different changes in facial motion. Publicly available datasets truly help to accelerate research in this area by providing a benchmark resource, but all of these datasets, to the best of our knowledge, are limited to rough annotations for action units, including only their absence, presence, or a five-level intensity according to the Facial Action Coding System. To meet the need for videos labeled in great detail, we present a well-annotated dataset named FEAFA for Facial Expression Analysis and 3D Facial Animation. One hundred and twenty-two participants, including children, young adults and elderly people, were recorded in real-world conditions. In addition, 99,356 frames were manually labeled using Expression Quantitative Tool developed by us to quantify 9 symmetrical FACS action units, 10 asymmetrical (unilateral) FACS action units, 2 symmetrical FACS action descriptors and 2 asymmetrical FACS action descriptors, and each action unit or action descriptor is well-annotated with a floating point number between 0 and 1. To provide a baseline for use in future research, a benchmark for the regression of action unit values based on Convolutional Neural Networks are presented. We also demonstrate the potential of our FEAFA dataset for 3D facial animation. Almost all state-of-the-art algorithms for facial animation are achieved based on 3D face reconstruction. We hence propose a novel method that drives virtual characters only based on action unit value regression of the 2D video frames of source actors.

연구 동기 및 목표

• 기존 데이터셋에서 미세한 해상도와 연속적인 얼굴 표정 표기의 부족을 해결하기 위해, 일반적으로 이진 또는 다섯 단계 강도 척도로 제한된 표기 방식을 개선하고자 한다.
• 향상된 얼굴 표정 분석과 애니메이션을 위해 연속적인 얼굴 행동 단위(AU) 강도의 정확한 회귀를 가능하게 하고자 한다.
• 실제 환경에서 다양한 인구 통계적 배경을 반영한 데이터를 기반으로 한 딥 러닝을 통한 통합 AU 강도 회귀의 기준을 제공하고자 한다.
• 3D 형태 재구성 없이 2D 영상 프레임에서 직접 AU 강도를 회귀함으로써 3D 얼굴 애니메이션을 구동하는 새로운 파이프라인을 구현하고자 한다.
• 공개된 잘 정리된 데이터셋을 통해 향후 얼굴 표정 인식, 영상 편집 및 애니메이션 분야의 연구를 지원하고자 한다.

제안 방법

• FEAFA 데이터셋은 다양한 연령대와 실제 환경 조건에서 122명의 참가자로부터 123개의 웹캠 영상을 촬영하여 구축되었다.
• 각 프레임은 고유의 표현 정량화 도구를 사용해 수작업으로 표기되었으며, 9개의 대칭적 AU, 10개의 비대칭적 AU, 2개의 대칭적 AD, 2개의 비대칭적 AD에 대해 실수형 강도 값(0에서 1 사이)을 할당하였다.
• 2D 영상 프레임에서 모든 AU 강도를 동시에 회귀하는 데 사용된 기초 딥 러닝 시스템은 컨volution 네트워크(CNN)를 기반으로 개발되었다.
• 3D 얼굴 애니메이션 파이프라인은 예측된 AU 강도 값을 기반으로 블렌드쉐이프 모델을 구동하며, 가상 캐릭터의 얼굴는 중립 상태와 표정에 특화된 블렌드쉐이프의 선형 조합으로 재구성된다.
• 시스템은 AU 간의 동적 의존성과 동시 발생 패tern을 활용하여 애니메이션의 현실감과 시간적 일관성을 향상시킨다.
• 이 시스템은 AlexNet의 특징을 활용하여 표준 하드웨어에서 실시간 성능(18 fps 이상)을 달성하며, 3D 재구성 과정을 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 연속적이고 고해상도의 AU 강도 표기(0–1)는 이산적인 다섯 단계 척도에 비해 얼굴 표정 분석 정확도를 향상시키는가?
• RQ2 명시적인 3D 형태 재구성 없이 2D 영상 프레임만으로도 현실적인 3D 얼굴 애니메이션을 구동할 수 있는가?
• RQ3 미세한 해상도의 표기와 다양한 실제 환경 데이터를 기반으로 한 딥 컨volution 네트워크를 통한 통합 AU 강도 회귀는 얼마나 효과적인가?
• RQ4 AU 간 관계와 동적 의존성을 모델링함으로써 더 자연스럽고 현실적인 얼굴 애니메이션을 생성할 수 있는가?
• RQ5 FEAFA 데이터셋은 기존 기준 데이터셋에 비해 AU 검출 및 강도 추정 작업을 얼마나 잘 지원하는가?

주요 결과

• FEAFA 데이터셋은 122명의 참가자로부터 촬영된 123개 영상의 99,356개 프레임을 포함하며, 25개의 얼굴 운동 구성요소(9개의 대칭적 AU, 10개의 비대칭적 AU, 2개의 대칭적 AD, 2개의 비대칭적 AD)에 대해 연속적인 AU 강도 표기를 제공한다.
• 제안된 CNN 기반 기초 시스템은 2D 영상 프레임에서 AU 강도를 통합적으로 안정적으로 회귀하여 정확하고 연속적인 표정 표현을 가능하게 한다.
• 3D 얼굴 애니메이션 파이프라인은 2D 영상 입력과 AU 강도 회귀만으로도 현실적인 캐릭터 애니메이션을 성공적으로 생성하며, 시간이 오래 걸리는 3D 재구성 과정을 생략한다.
• 애니메이션 시스템은 표준 소비자 하드웨어에서 18 fps 이상의 속도로 실행되어 실시간 적용 가능성을 입증한다.
• 연속적인 AU 강도 표기 덕분에 이산적인 다섯 단계 척도보다 더 정밀한 AU 검출 및 강도 추정이 가능하며, AU 값은 정의된 간격을 통해 FACS 강도 수준 A–E로 매핑된다.
• 이 데이터셋은 얼굴 표정 인식, 영상 편집, 향상된 인간-컴퓨터 상호작용 등 다양한 향후 응용 분야를 지원한다.