[논문 리뷰] Real-time emotion recognition for gaming using deep convolutional network features

Sébastien Ouellet|arXiv (Cornell University)|2014. 08. 16.

Emotion and Mood Recognition참고 문헌 12인용 수 38

한 줄 요약

이 논문은 미세조정 없이 ImageNet에서 사전 훈련된 깊이 합성곱 신경망(CNN) 특징을 사용하여 게임용 실시간 정서 인식 시스템을 제안한다. 사전 훈련된 CNN의 다섯 번째 및 여섯 번째 층에서 특징을 추출하고, CK+ 데이터셋에서 SVM를 사용해 분류함으로써, 정서당 단일 정지 이미지만으로도 94.4%의 정확도를 달성하여 정서 인식에 대한 강력한 전이 가능성과 실시간 적용 가능성을 입증한다.

ABSTRACT

The goal of the present study is to explore the application of deep convolutional network features to emotion recognition. Results indicate that they perform similarly to other published models at a best recognition rate of 94.4%, and do so with a single still image rather than a video stream. An implementation of an affective feedback game is also described, where a classifier using these features tracks the facial expressions of a player in real-time.

연구 동기 및 목표

• 사전 훈련된 깊이 CNN 특징가 임의의 작업에 맞게 미세조정 없이도 정서 인식에 효과적으로 일반화될 수 있는지 조사하기 위해.
• 얼굴 정서 인식을 활용해 실시간 정서 피드백 시스템을 개발하기 위해.
• CK+ 데이터셋을 사용하여 물체 인식에서 얼굴 정서 분류로의 전이 학습 성능를 평가하기 위해.
• 얼굴 검출 및 이미지 전처리가 정서 인식 정확도에 미치는 영향을 평가하기 위해.
• 고차원 CNN 특징에 대해 선형, 다항식, RBF 커널 유형의 성능를 비교하기 위해.

제안 방법

• ImageNet에서 사전 훈련된 깊이 합성곱 신경망을 사용하여 재학습 없이 얼굴 이미지에서 특징를 추출한다.
• CNN의 다섯 번째 및 여섯 번째 층에서 고수준 특징을 추출하며, 각각 9126차원 및 4096차원의 출력을 제공한다.
• 특징 추출 이전에 Viola-Jones 얼굴 검출기를 적용하여 얼굴를 국소화함으로써 정확도를 향상시킨다.
• 모든 이미지에 회색조 변환을 적용하여 입력을 표준화함으로써 색상 입력 대비 성능 향상을 달성한다.
• 추출된 특징에 대해 선형, 다항식, 및 반경 기반 함수(RBF) 커널을 사용한 서포트 벡터 머신(SVM) 분류기를 훈련한다.
• 성능 평가를 위해 정서 시퀀스의 정점(피크) 프레임에 집중하여 표현의 명확도를 극대화한다.

실험 결과

연구 질문

• RQ1 물체 인식 작업에서 사전 훈련된 깊이 CNN 특징가 미세조정 없이도 얼굴 정서 인식에서 높은 정확도를 달성할 수 있는가?
• RQ2 얼굴 검출의 포함 여부가 정서 인식 성능에 미치는 영향은 무엇이며, 특히 안경 착용자와 같은 가림 상황에서 어떻게 영향을 미치는가?
• RQ3 고차원 CNN 특징에 대해 선형, 다항식, RBF 커널 중 어느 것이 정서 분류에 가장 우수한 성능를 보이는가?
• RQ4 다양한 정서 카테고리(예: 공포, 슬픔)의 성능 수준는 어떻게 비교되며, 잠재적인 약점은 무엇인가?
• RQ5 단일 정지 이미지가 영상 기반 방법과 유사한 성능를 달성할 수 있으며, 이는 실시간 게임 응용에 충분한가?

주요 결과

• 시스템은 정서 시퀀스의 정점 프레임만을 사용하여 94.4%의 정확도를 달성함으로써 최소한의 입력으로도 뛰어난 성능를 보였다.
• 얼굴 검출의 사용은 특히 안경 착용자와 같은 경우에 정확도를 크게 향상시켰으며, 이는 否면 정서가 잘못 분류되는 문제(예: 혐오가 목표 정서로 오분류됨)를 완화시켰다.
• CNN 특징의 고차원성으로 인해 비선형 변환의 필요성이 줄어들었고, 이에 따라 선형 커널이 다항식 및 RBF 커널보다 우수한 성능를 보였다.
• 다섯 번째 층 특징(9126차원)이 여섯 번째 층 특징(4096차원)보다 성능가 뛰어나며, 일곱 번째 층은 성능 저하로 인해 제외되었다.
• 공포(52%) 및 슬픔(60.7%)과 같은 정서는 CK+ 데이터셋에서 학습 샘플 수가 적어 낮은 인식률을 보였으며, 이는 잠재적인 약점으로 작용했다.
• 특화된 모델과 비교해도 최신 기술 수준의 성능를 달성했으며, 재학습이 전혀 필요 없고 단일 이미지 입력만으로도 가능하다는 장점을 지녔다.