[논문 리뷰] Augmenting Supervised Emotion Recognition with Rule-Based Decision Model

Amol Patwardhan, Gerald M. Knapp|arXiv (Cornell University)|2016. 07. 09.

Emotion and Mood Recognition참고 문헌 35인용 수 10

한 줄 요약

이 논문은 인간 애너테이터의 일致성과 잘 알려진 감정-자세 연관성에 기반한 시각적 특징을 활용하여, 감정 인식 시스템의 성능을 향상시키기 위해 규칙 기반 결정 모델을 제안한다. 결정 단계에서 규칙 기반 평가와 학습된 분류기를 조합함으로써, 특히 도메인 외부(인터-코퍼스) 테스트 데이터에서 정확도가 향상되며, 감정 인식 모델의 과적합에 대한 강건성을 입증한다.

ABSTRACT

The aim of this research is development of rule based decision model for emotion recognition. This research also proposes using the rules for augmenting inter-corporal recognition accuracy in multimodal systems that use supervised learning techniques. The classifiers for such learning based recognition systems are susceptible to over fitting and only perform well on intra-corporal data. To overcome the limitation this research proposes using rule based model as an additional modality. The rules were developed using raw feature data from visual channel, based on human annotator agreement and existing studies that have attributed movement and postures to emotions. The outcome of the rule evaluations was combined during the decision phase of emotion recognition system. The results indicate rule based emotion recognition augment recognition accuracy of learning based systems and also provide better recognition rate across inter corpus emotion test data.

연구 동기 및 목표

• 감정 인식 모델이 내부 코퍼스 데이터에 과적합하고 도메인 외부 테스트 세트에서 성능이 떨어지는 문제를 해결하기 위해.
• 감정 관련 자세와 운동과 연결된 원시 시각적 특징을 사용하여 규칙 기반 결정 모델을 개발하기 위해.
• 규칙 기반 출력을 지도 학습 분류기와 융합하여 전체 감정 인식 정확도를 향상시키기 위해.
• 하이브리드 시스템의 효과성을 내부 코퍼스 및 외부 코퍼스 감정 인식 기준에서 평가하기 위해.

제안 방법

• 특정 감정과 관련된 얼굴 운동과 자세에 대해 인간 애너테이터의 일치도를 기반으로 규칙를 구성하였다.
• 머리 자세, 얼굴 근육 활동, 신체 자세 등의 시각적 특징을 도메인 지식과 이전 연구를 활용하여 감정 카테고리에 매핑하였다.
• 융합 이전에 규칙 평가를 시각 모odalitiy에서 독립적으로 수행하였다.
• 최종 결정은 지도 학습 분류기의 출력과 규칙 기반 모델의 출력을 가중치 기반 융합 전략을 통해 조합하여 내렸다.
• 일반화 능력을 평가하기 위해 내부 코퍼스 및 외부 코퍼스 테스트 세트에서 시스템을 평가하였다.
• 규칙 기반 구성 요소는 지도 학습에서의 모델 특화된 편향에 대한 의존도를 줄이기 위해 보완적인 모odalitiy로 설계되었다.

실험 결과

연구 질문

• RQ1 규칙 기반 모델은 도메인 외부 테스트 데이터에서 지도 학습 감정 인식 시스템의 정확도를 향상시킬 수 있는가?
• RQ2 손으로 만든 규칙 기반 시각적 신호는 다양한 코퍼스에서 감정을 인식하는 데에 학습된 분류기와 비교해 어떻게 성능을 내는가?
• RQ3 규칙 기반 결정을 지도 학습과 융합함으로써 감정 인식에서의 과적합이 어느 정도 감소하는가?
• RQ4 학습 데이터와 테스트 데이터가 서로 다른 출처에서 올 경우, 규칙 기반 모델의 성능에 어떤 영향을 미치는가?
• RQ5 다양한 감정 표현과 데이터 분포에서 규칙 기반 모델은 일관된 성능 향상을 제공할 수 있는가?

주요 결과

• 규칙 기반 모델은 외부 코퍼스 테스트 데이터에서 감정 인식 정확도를 크게 향상시켰으며, 단독으로 사용된 지도 학습 모델보다 뛰어난 성능을 보였다.
• 하이브리드 시스템은 도메인 외부 데이터에서 더 높은 인식률을 달성하여, 지도 학습 모델 대비 과적합이 줄어든 것으로 나타났다.
• 규칙 기반 결정은 지도 학습 모델이 분포 이동으로 인해 실패했을 경우에도 안정적인 성능 기반선을 제공하였다.
• 규칙 기반 결정과 분류기의 융합은 여러 감정 카테고리에서 F1 점수 향상에 명확한 기여를 하였다.
• 규칙 기반 구성 요소는 다양한 감정 표현에서 일관된 성능을 보였으며, 데이터 변동에 대한 강건성을 보였다.
• 결과는 규칙 기반 모델이 다중 모odal 감정 인식 시스템에서 신뢰할 수 있는 보완적인 모달리티로 기능할 수 있음을 시사한다.