[논문 리뷰] Multi-Region Ensemble Convolutional Neural Network for Facial Expression Recognition

Yingruo Fan, Jacqueline C. K. Lam외 1명|arXiv (Cornell University)|2018. 07. 12.

Face and Expression Recognition참고 문헌 11인용 수 13

한 줄 요약

이 논문은 다중 얼굴 하위 영역에서 전역 및 국소적 특징을 추출하고 융합하기 위해 별도의 CNN 하위 네트워크를 사용한 다중 영역 앙상블 컨volution 신경망(MRE-CNN)을 제안한다. 이는 예측의 가중 융합을 통해 얼굴 표정 인식 성능을 햖थ한다. 이 방법은 공간적으로 국소화된 얼굴 자극을 효과적으로 모델링하면서도 통합적 맥락을 유지함으로써 AFEW 7.0 및 RAF-DB 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Facial expressions play an important role in conveying the emotional states of human beings. Recently, deep learning approaches have been applied to image recognition field due to the discriminative power of Convolutional Neural Network (CNN). In this paper, we first propose a novel Multi-Region Ensemble CNN (MRE-CNN) framework for facial expression recognition, which aims to enhance the learning power of CNN models by capturing both the global and the local features from multiple human face sub-regions. Second, the weighted prediction scores from each sub-network are aggregated to produce the final prediction of high accuracy. Third, we investigate the effects of different sub-regions of the whole face on facial expression recognition. Our proposed method is evaluated based on two well-known publicly available facial expression databases: AFEW 7.0 and RAF-DB, and has been shown to achieve the state-of-the-art recognition accuracy.

연구 동기 및 목표

• 지역 및 전역적 얼굴 특징을 영역별 모델링을 통해 캡처함으로써 얼굴 표정 인식 정확도를 향상시키는 것.
• 예를 들어 눈, 입과 같은 다양한 얼굴 하위 영역이 표정 인식 성능에 기여하는 방식을 조사하는 것.
• 다양한 하위 네트워크의 예측을 융합하기 위한 가중치 기반 앙상블 전략을 개발하여 정확도와 견고성을 향상시키는 것.
• 표준 기준 데이터셋에서 제안된 MRE-CNN 프레임워크의 성능을 평가하여 그 유효성을 검증하는 것.

제안 방법

• 프레임워크는 입력 얼굴 이미지를 여러 공간적 하위 영역(예: 눈, 코, 입, 볼 등)으로 나누어 국소적 특징을 추출한다.
• 각 하위 영역은 전용 2차원 컨volution 신경망(하위 네트워크)를 통해 처리되어 영역별로 특화된 표현을 학습한다.
• 각 하위 네트워크의 특징는 하위 네트워크 성능에 기반한 가중 평균 전략을 사용하여 융합되며, 이는 예측 신뢰도를 향상시킨다.
• 최종 예측은 모든 하위 네트워크의 가중 출력을 집계하여 생성되며, 이는 전체 분류 정확도 향상에 기여한다.
• 모델은 교차 엔트로피 손실과 확률적 경사 하강법를 사용하여 엔드 투 엔드로 훈련된다.
• 이 방법은 표준 메트릭(정확도 및 F1 점수 등)을 사용하여 두 개의 공개 데이터셋인 AFEW 7.0 및 RAF-DB에서 평가된다.

실험 결과

연구 질문

• RQ1 다양한 얼굴 하위 영역이 특정 얼굴 표정 인식에 어떻게 기여하는가?
• RQ2 병렬적으로 국소 얼굴 영역을 모델링하면 표정 인식을 위한 CNN의 분류 능력이 향상되는가?
• RQ3 다양한 영역별 특화된 하위 네트워크의 예측을 최적의 방식으로 융합하여 정확도를 극대화할 수 있는가?
• RQ4 제안된 MRE-CNN 프레임워크는 표준 얼굴 표정 데이터셋에서 기존 최신 기술 수준의 방법을 초월하는가?

주요 결과

• MRE-CNN 프레임워크는 AFEW 7.0 데이터셋에서 최신 기술 수준의 인식 정확도를 달성하여 이전 방법들을 압도했다.
• 모델은 RAF-DB에서 높은 정확도를 기록하여, 발표 당시 유사한 딥 러닝 접근 방식 중에서 보고된 바 가장 높은 정확도를 기록했다.
• 제거 실험을 통해 입과 눈 영역이 표정 인식에 가장 크게 기여하는 것으로 확인되어 영역 기반 설계의 타당성이 입증되었다.
• 하위 네트워크 예측의 가중 융합은 단순 평균 또는 단일 네트워크 기반 베이스라인에 비해 항상 더 높은 최종 정확도를 달성했다.
• 앙상블 아키텍처는 전반적인 맥락과 국소적 세부 정보 사이의 균형을 효과적으로 유지하여 과적합을 줄이고 일반화 능력을 향상시켰다.