[논문 리뷰] DeepCoder: Semi-parametric Variational Autoencoders for Facial Action Unit Intensity Estimation.

Dieu Linh Tran, Robert Walecki외 4명|arXiv (Cornell University)|2017. 04. 07.

Emotion and Mood Recognition인용 수 6

한 줄 요약

DeepCoder는 조합적 파arametric VAE와 순서형 가우시안 프로세스를 통합하여 계층적 얼굴 표현과 얼굴 운동 단위(AU) 강도를 동시에 학습하는 반-파라미터적 변동형 자동인코더를 제안한다. 이는 깊이 있는 특징 학습과 비파라미터적 불확실성 모델링을 결합함으로써 기준 AU 강도 추정 데이터셋에서 최신 기술을 크게 능가한다.

ABSTRACT

Variational (deep) parametric auto-encoders (VAE) have shown a great potential for unsupervised extraction of latent representations from large amounts of data. Human face exhibits an inherent hierarchy in facial representations (encoded in facial action units (AUs) and their intensity). This makes VAE a sophisticated method for learning facial features for AU intensity estimation. Yet, most existing methods apply classifiers learned separately from the encoded features. On the other hand, non-parametric (probabilistic) approaches, such as Gaussian Processes (GPs), typically outperform their parametric counterparts, but cannot deal easily with large amounts of data. In this paper, we propose a novel VAE semi-parametric modeling framework, named DeepCoder, which combines the modeling power of parametric (convolutional) and nonparametric (ordinal GPs) VAEs, for joint learning of (1) latent representations at multiple levels in a task hierarchy, and (2) classification of multiple ordinal outputs (AUs intensities). We show on benchmark datasets for AU intensity estimation that the proposed DeepCoder significantly outperforms state-of-the-art approaches, and related parametric VAEs, deep learning and parametric models.

연구 동기 및 목표

• 기존 VAE가 인코딩된 특징에 대해 별도로 분류기를 훈련하는 데서 비롯되는 한계를 해결하기 위해, 표현과 강도 예측을 동시에 학습하는 것.
• 파라미터 기반 깊이 신경망의 확장성과 가우시안 프로세스(GP)와 같은 비파라미터 방법의 불확실성 정량화 능력을 통합하는 것.
• 얼굴 운동 단위(AU)의 계층적 구조를 반영한 다수준 잠재 표현을 통해 얼굴 표현의 계층적 구조를 모델링하는 것.
• 확률적 반-파라미터적 프레임워크를 통해 순서형 AU 강도 출력을 엔드 투 엔드로 학습함으로써 불확실성과 순서 관계를 동시에 포착하는 것.
• 통합된 생성 모델 내에서 깊이 있는 특징 추출과 비파라미터 회귀를 융합하여 AU 강도 추정 성능을 향상시키는 것.

제안 방법

• 파라미터 기반 VAE(컨볼루션 인코더-디코더 아키텍처)와 비파라미터 순서형 가우시안 프로세스(GP)를 결합하여 잠재 표현에 대한 회귀를 수행한다.
• 다양한 추상 수준의 얼굴 특징을 인코딩하는 계층적 잠재 공간을 활용하며, 이는 AU 계층과 정렬된다.
• 순서형 GPs를 사용해 AU 강도 출력을 모델링하여 강도 수준(예: 0에서 5)의 자연스러운 순서를 유지한다.
• VAE 재구성 오차와 GP 예측 오차를 동시에 최적화하는 공동 훈련 목표를 적용하여 엔드 투 엔드 학습을 가능하게 한다.
• GP의 비파라미터적 성질을 활용해 예측의 불확실성을 모델링하면서도, 구조적 추론를 통해 확장성을 유지한다.
• VAE가 전반적인 특징을 학습하고 GP가 국소적이고 개별 인스턴스 기반의 강도 예측을 모델링하는 반-파라미터적 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 반-파라미터적 VAE 프레임워크는 엔드 투 엔드 파라미터 기반 모델에 비해 계층적 얼굴 표현과 순서형 AU 강도 예측을 더 효과적으로 동시에 학습할 수 있는가?
• RQ2 파라미터 기반 깊이 신경망의 특징 학습과 비파라미터 GP 회귀를 융합함으로써 AU 강도 추정 성능가 어떻게 향상되는가?
• RQ3 DeepCoder의 계층적 잠재 공간은 얼굴 운동 단위의 내재된 구조와 그 강도를 어느 정도 정확히 포착하는가?
• RQ4 순서형 GPs의 통합은 표준 파라미터 기반 분류기와 비교해 불확실성 정량화와 예측 정확도를 어떻게 향상시키는가?
• RQ5 DeepCoder는 다양한 기준 데이터셋에 대해 AU 강도 추정에서 어떻게 확장성과 일반화 성능을 발휘하는가?

주요 결과

• DeepCoder는 기준 AU 강도 추정 데이터셋에서 최신 기술을 초월하는 최고 성능을 기록하였다. 이는 기존 파라미터 기반 VAE 및 딥 러닝 모델을 모두 능가한다.
• 순서형 가우시안 프로세스의 통합은 AU 강도의 순서적 성격을 더 효과적으로 모델링함으로써 예측 정확도를 크게 향상시켰다.
• VAE가 학습한 계층적 잠재 공간은 얼굴 운동 단위와 정렬된 의미 있는 얼굴 표현 계층을 포착하고 있다.
• 반-파라미터적 설계 덕분에 예측의 불확실성 정량화 능력이 향상되었으며, 동시에 대규모 데이터셋에 대한 확장성도 유지하고 있다.
• 순수한 파라미터 기반 VAE나 비파라미터 모델만을 사용한 경우보다 DeepCoder가 더 뛰어난 성능을 보이며, 깊이 있는 특징 학습과 비파라미터 회귀의 융합이 가져오는 이점이 입증되었다.
• 다양한 얼굴 표정과 데이터셋에 걸쳐 강건한 일반화 성능을 보이며, 실제 환경에서의 AU 강도 추정에 효과적임을 입증하였다.