[논문 리뷰] Attended End-to-end Architecture for Age Estimation from Facial Expression Videos

Wenjie Pei, Hamdi Dibeklioğlu외 2명|arXiv (Cornell University)|2017. 11. 23.

Face recognition and analysis참고 문헌 60인용 수 12

한 줄 요약

이 논문은 얼굴 표정 영상에서 연령 추정을 위한 엔드 투 엔드 주의 기반 딥러닝 모델인 SIAM을 제안한다. 이 모델은 공간적 외형 특징을 위한 합성곱 네트워크와 시간적 동적 특징을 위한 순환 네트워크를 결합하며, 공간적 및 시간적 주의 메커니즘으로 향상된다. 이 모델은 대규모 데이터셋에서 최신 기술 수준의 성능을 달성하며, 특히 충분한 훈련 데이터가 있는 경우 외형과 동적 특징의 공동 최적화를 통해 뛰어난 정확도와 해석 가능성(해석 가능성)을 입증한다.

ABSTRACT

The main challenges of age estimation from facial expression videos lie not only in the modeling of the static facial appearance, but also in the capturing of the temporal facial dynamics. Traditional techniques to this problem focus on constructing handcrafted features to explore the discriminative information contained in facial appearance and dynamics separately. This relies on sophisticated feature-refinement and framework-design. In this paper, we present an end-to-end architecture for age estimation, called Spatially-Indexed Attention Model (SIAM), which is able to simultaneously learn both the appearance and dynamics of age from raw videos of facial expressions. Specifically, we employ convolutional neural networks to extract effective latent appearance representations and feed them into recurrent networks to model the temporal dynamics. More importantly, we propose to leverage attention models for salience detection in both the spatial domain for each single image and the temporal domain for the whole video as well. We design a specific spatially-indexed attention mechanism among the convolutional layers to extract the salient facial regions in each individual image, and a temporal attention layer to assign attention weights to each frame. This two-pronged approach not only improves the performance by allowing the model to focus on informative frames and facial areas, but it also offers an interpretable correspondence between the spatial facial regions as well as temporal frames, and the task of age estimation. We demonstrate the strong performance of our model in experiments on a large, gender-balanced database with 400 subjects with ages spanning from 8 to 76 years. Experiments reveal that our model exhibits significant superiority over the state-of-the-art methods given sufficient training data.

연구 동기 및 목표

• 전통적인 수작업 특징 방법의 한계를 해결하기 위해 얼굴 표정 영상에서 연령 추정을 위해 외형과 동적 특징의 공동 학습을 가능하게 한다.
• 엔드 투 엔드 프레임워크 내에서 주목할 만한 얼굴 영역을 위한 공간 주의와 정보성 있는 영상 프레임을 위한 시간 주의를 통합하여 성능을 향상시킨다.
• 특정 얼굴 영역과 영상 프레임이 연령 추정 예측에 기여하는 방식을 연결함으로써 모델의 해석 가능성을 제공한다.
• 훈련 데이터 크기가 증가함에 따라 모델의 확장성과 성능 향상을 평가하며, 특히 수작업 특징 기반 기준과의 비교를 통해 분석한다.

제안 방법

• 개별 프레임에서 얼굴 표정 영상의 잠재적 외형 표현을 추출하기 위해 합성곱 신경망(CNNs)을 사용한다.
• 순차적 프레임 간의 시간적 동적 특징을 모델링하기 위해 순환 신경망(RNNs)을 활용한다. 이는 시간에 따라 변화하는 표정의 진화를 포착한다.
• 각 프레임에서 주목할 만한 얼굴 영역(예: 주름, 눈)을 강조하기 위해 합성곱 레이어 내부에 공간적으로 인덱싱된 주의 메커니즘을 도입한다.
• RNN 출력 위에 시간 주의 레이어를 적용하여 연령 추정에 대한 관련성에 따라 각 프레임에 동적 가중치를 할당한다.
• 수작업 특징 설계 없이도 CNN, RNN, 주의 모듈 및 회귀 헤드를 포함한 전체 아키텍처를 엔드 투 엔드 방식으로 공동으로 훈련한다.
• 400명의 참가자(연령 8–76세)로 구성된 대규모 성별 균형 데이터셋을 활용하여 훈련 및 평가를 수행하며, 데이터 크기와 표정 유형에 대한 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥러닝 모델이 얼굴 표정 영상에서 연령 추정을 위해 외형과 시간적 동적 특징을 공동 최적화할 수 있는가?
• RQ2 공간적 및 시간적 주의 메커니즘의 통합이 연령 추정에서 성능 향상과 해석 가능성 향상에 어떻게 기여하는가?
• RQ3 훈련 데이터 크기가 증가함에 따라 모델의 성능이 크게 향상되는가? 특히 수작업 특징 기반 방법과의 비교에서 어떻게 나타나는가?
• RQ4 대규모 데이터셋에서는 뛰어난 성능를 보이는 데도 불구하고, 작은 데이터셋인 UvA-NEMO 혐오 데이터베이스에서는 왜 성능이 열 劣하는가?

주요 결과

• 대규모 UvA-NEMO 미소 데이터베이스(1,000+ 건의 영상)에서 SIAM은 평균 절대 오차(MAE) 4.74년을 기록하며, 수작업 특징을 사용하는 최신 기술 수준의 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 더 큰 훈련 데이터가 제공될수록 모델의 성능 향상이 뚜렷하게 나타나, 데이터 확장성과 향후 더 많은 데이터로의 성능 향상 잠재력이 있음을 시사한다.
• 작은 UvA-NEMO 혐오 데이터베이스(518건의 영상)에서는 SIAM의 MAE가 6.96년으로, 수작업 특징 기반 기준보다 높았으며, 주로 훈련 데이터가 제한되어 있기 때문이다.
• 미소 데이터베이스의 포즈된 하위 집합(643건의 영상)에서만 평가한 결과, SIAM의 MAE는 6.41년으로 상승했으며, 이는 데이터 크기와 표정 유형이 성능에 영향을 미친다는 것을 시사한다.
• 공간적 및 시간적 주의 메커니즘은 해석 가능한 주의 맵을 제공하여 연령 관련 얼굴 영역(예: 눈과 입 주변)과 정보성 있는 영상 프레임을 강조한다.
• 분석 실험 결과, 주의 메커니즘을 통합한 공동 엔드 투 엔드 훈련이 별도의 특징 설계보다 더 나은 특징 학습과 회귀 정확도를 이끌어낸다는 것이 확인되었다.