[논문 리뷰] Facial Expression Recognition using Convolutional Neural Networks: State of the Art

Christopher Pramerdorfer, Martin Kampel|arXiv (Cornell University)|2016. 12. 09.

Face recognition and analysis참고 문헌 18인용 수 213

한 줄 요약

본 논문은 CNN 기반 얼굴 표정 인식(FER) 방법을 검토하고 병목 현상을 확인하며, 현대 딥 CNN의 앙상블이 추가 데이터나 얼굴 등록 없이 FER2013에서 최첨단 성능(75.2%)에 도달한다는 것을 보인다.

ABSTRACT

The ability to recognize facial expressions automatically enables novel applications in human-computer interaction and other areas. Consequently, there has been active research in this field, with several recent works utilizing Convolutional Neural Networks (CNNs) for feature extraction and inference. These works differ significantly in terms of CNN architectures and other factors. Based on the reported results alone, the performance impact of these factors is unclear. In this paper, we review the state of the art in image-based facial expression recognition using CNNs and highlight algorithmic differences and their performance impact. On this basis, we identify existing bottlenecks and consequently directions for advancing this research field. Furthermore, we demonstrate that overcoming one of these bottlenecks - the comparatively basic architectures of the CNNs utilized in this field - leads to a substantial performance increase. By forming an ensemble of modern deep CNNs, we obtain a FER2013 test accuracy of 75.2%, outperforming previous works without requiring auxiliary training data or face registration.

연구 동기 및 목표

• CNN 아키텍처와 전처리 선택이 자연적 조건에서 FER 성능에 미치는 영향을 평가한다.
• FER 성능을 제약하는 병목을 확인하고 이를 극복할 방향을 제시한다.
• 일관된 설정에서 CNN 아키텍처를 실증적으로 비교하여 아키텍처 영향력을 분리한다.
• 현대 딥 CNN이 앙상블 방법을 통해 얕은 FER 모델을 능가할 수 있음을 보여준다.

제안 방법

• 여섯 가지 CNN 기반 FER 방법과 그 전처리, 아키텍처, 학습/추론 프로토콜을 검토한다.
• FER2013 데이터와 표준 조도 보정(illumination correction)을 사용하여 공통 프로토콜하에 아키텍처를 실증적으로 재구현한다.
• 안정성을 높이기 위해 모든 conv 및 fc 층 뒤에 배치 정규화를 도입하고, 첫 번째 fc 층 뒤에 드롭아웃을 도입한다.
• 비교 가능한 증강(수평 뒤집기, 무작위 자르기)을 사용하고 아키텍처별로 격자 탐색된 드롭아웃을 적용하여 네트워크를 학습시킨다.
• 10-_crop 테스트를 평가하고 아키텍처 간 학습 표현을 비교하기 위해 MLP 백엔드를 사용한다.

실험 결과

연구 질문

• RQ1 현실적 데이터에서 FER 성능에 가장 큰 영향을 주는 전처리, 아키텍처 및 학습 전략은 무엇인가?
• RQ2 일관된 조건에서 평가될 때 더 깊은 현대 CNN이 얕은 FER-전용 아키텍처를 능가하는가?
• RQ3 보조 데이터나 등록 없이도 깊은 CNN의 앙상블이 기존 FER 방법을 능가할 수 있는가?
• RQ4 CNN 기반 FER의 주요 병목은 무엇이며 데이터 및 데이터셋 편향을 어떻게 완화할 수 있는가?

주요 결과

• FER2013은 훈련/검증/테스트가 각각 28,709, 3,589, 3,589 샘플인 35,887개의 그레이스케일 48x48 얼굴 크롭으로 구성되어 있다.
• 얕은 CNN이 더 깊은 모델보다 FER에서 때때로 더 잘 수행하는 경우가 있어 아키텍처 깊이만이 FER 성능의 유일한 결정 요인은 아님을 시사한다.
• 현대의 딥 CNN을 사용한 최대 8개 모델의 앙상블이 보조 데이터나 얼굴 등록 없이 FER2013 테스트 정확도 75.2%를 달성한다.
• 데이터 증강과 앙상블 투표는 일반화 성능을 크게 향상시키며, 등록은 이득을 줄 수 있지만 강력한 결과를 얻는 데 필수는 아니다.
• 심층 아키텍처(VGG, Inception, ResNet)와 신중한 정규화로 전통적인 FER 방법을 능가하고 데이터셋 특화 트릭 없이도 경쟁력 있는 결과를 달성한다.