[논문 리뷰] Transfer Learning for Action Unit Recognition

Yen Khye Lim, Zukang Liao외 2명|arXiv (Cornell University)|2018. 07. 19.

Face and Expression Recognition참고 문헌 9인용 수 5

한 줄 요약

이 논문은 VGG-Face와 ResNet-152와 같은 사전 훈련된 CNN을 사용하여 얼굴 행동 단위(AU) 인식을 위한 전이 학습 기반 앙상블 프레임워크를 제안한다. 특성 추출, 미세조정, 영역 기반 입력 및 분류기 앙상블(특히 SVM과 LSTM)을 결합함으로써 DISFA 데이터셋에서 최신 기술 수준의 F1 스코어 74.1%를 달성하여 개별 모델을 크게 능가한다.

ABSTRACT

This paper presents a classifier ensemble for Facial Expression Recognition (FER) based on models derived from transfer learning. The main experimentation work is conducted for facial action unit detection using feature extraction and fine-tuning convolutional neural networks (CNNs). Several classifiers for extracted CNN codes such as Linear Discriminant Analysis (LDA), Support Vector Machines (SVMs) and Long Short-Term Memory (LSTM) are compared and evaluated. Multi-model ensembles are also used to further improve the performance. We have found that VGG-Face and ResNet are the relatively optimal pre-trained models for action unit recognition using feature extraction and the ensemble of VGG-Net variants and ResNet achieves the best result.

연구 동기 및 목표

• 사전 훈련된 딥 CNN을 사용한 전이 학습을 통해 얼굴 행동 단위 인식 정확도를 향상시키기.
• DISFA 데이터셋에서 행동 단위 검출에 적합한 다양한 CNN 아키텍처(예: VGG-Face, ResNet)의 효과를 평가하기.
• 미세조정, 영역 기반 특성 추출, 분류기 앙상블이 행동 단위 인식 성능에 미치는 영향을 조사하기.
• CNN 임bedded 특성에 적용된 LDA, SVM, LSTM 분류기의 성능을 비교하기.
• 행동 단위 인식 F1 스코어를 최대화하기 위한 최적의 모델 및 기법 조합을 도출하기.

제안 방법

• DISFA 데이터셋의 얼굴 이미지에서 특성 추출을 위해 사전 훈련된 CNN(예: VGG-Face, ResNet-152)을 활용한다.
• VGG-Fast 및 ResNet-152의 마지막 완전 연결층을 미세조정하여 전이 학습을 적용함으로써 행동 단위 인식 작업에 적합하게 조정한다.
• 특정 행동 단위에 해당하는 얼굴 영역을 사전에 분할하여 CNN에 입력하는 영역 기반 접근 방식을 구현한다.
• 추출된 CNN 특성에 대해 LDA, SVM, LSTM 등 여러 분류기를 훈련시켜 행동 단위 인식 성능를 비교한다.
• 특성 추출 및 미세조정된 네트워크에서 유래한 다수의 모델과 분류기를 활용해 다수결 투표 방식의 앙상블 모델을 구성한다.
• 성능이 낮은 모델(예: AlexNet)을 성능이 높은 미세조정된 모델로 교체하여 앙상블의 전반적 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 특성 추출을 사용할 때 어떤 사전 훈련된 CNN 아키텍처가 행동 단위 인식에서 가장 높은 성능을 보이는가?
• RQ2 정적 특성 추출에 비해 사전 훈련된 CNN을 미세조정함으로써 행동 단위 인식 정확도는 얼마나 향상되는가?
• RQ3 행동 단위에 특화된 얼굴 영역을 사용할 경우 성능 향상 정도는 어느 정도인가?
• RQ4 CNN 임bedded 특성에 적용된 다양한 분류기(LDA, SVM, LSTM)는 행동 단위 검출에 대해 어떻게 성능을 내는가?
• RQ5 특성 추출 모델과 미세조정된 네트워크에서 유래한 다양한 모델의 앙상블은 개별 모델에 비해 우수한 성능을 낼 수 있는가?

주요 결과

• SVM을 사용한 특성 추출 기반 행동 단위 인식에서 VGG-Face와 ResNet-152가 각각 60.7%와 58.7%의 가장 높은 F1 스코어를 기록한다.
• VGG-Fast를 미세조정하면 fc6 레이어 특성에 대해 SVM을 사용할 때 F1 스코어가 56.2%에서 62.9%로 향상되어 작업에 특화된 적응의 이점이 입증된다.
• 영역 기반 접근 방식은 전체 이미지 입력 대비 F1 스코어를 2.9% 향상시키며, 미세조정된 VGG-Fast는 행동 단위에 특화된 영역에서 68.5%의 F1 스코어를 기록한다.
• 특성 추출에서 유래한 모델들만으로 구성된 앙상블는 68.8%의 F1 스코어를 기록하여 개별 모델을 능가한다.
• 특성 추출 모델과 미세조정된 모델을 조합한 하이브리드 앙상블는 F1 스코어를 71.1%로 끌어올려 모델 다양성의 가치를 입증한다.
• 특정 얼굴 영역에 기반한 최적의 앙상블는 상태의 기술 수준 F1 스코어 74.1%를 달성하여 가장 뛰어난 단일 모델(미세조정된 VGG-Fast) 대비 5.6% 향상된 성능을 보였다.