[논문 리뷰] Semi-supervised Bayesian Deep Multi-modal Emotion Recognition

Changde Du, Changying Du외 4명|arXiv (Cornell University)|2017. 04. 25.

Emotion and Mood Recognition참고 문헌 12인용 수 5

한 줄 요약

이 논문은 다중 모odal(예: 뇌파, 눈동자의 움직임, 얼굴 표정)에서 공유되는 깊이 있는 표현을 함께 학습하기 위해 혼합 정규분포로 후행 근사값을 모델링하는 반감성 베이지안 딥 다중모달 오토인코더(semiMVAE)를 제안한다. 이 프레임워크는 변분 추론을 통해 레이블이 지정된 데이터와 지정되지 않은 데이터를 모두 활용하며, 자동으로 모달별 가중치를 학습하고, 레이블이 제한된 경우에도 최신 기술 수준의 성능을 달성한다. 두 개의 실제 감정 인식 데이터셋에서, 감정 인식 성능이 감독 학습 및 반감성 학습 기반의 기존 모델들을 능가한다.

ABSTRACT

In emotion recognition, it is difficult to recognize human's emotional states using just a single modality. Besides, the annotation of physiological emotional data is particularly expensive. These two aspects make the building of effective emotion recognition model challenging. In this paper, we first build a multi-view deep generative model to simulate the generative process of multi-modality emotional data. By imposing a mixture of Gaussians assumption on the posterior approximation of the latent variables, our model can learn the shared deep representation from multiple modalities. To solve the labeled-data-scarcity problem, we further extend our multi-view model to semi-supervised learning scenario by casting the semi-supervised classification problem as a specialized missing data imputation task. Our semi-supervised multi-view deep generative framework can leverage both labeled and unlabeled data from multiple modalities, where the weight factor for each modality can be learned automatically. Compared with previous emotion recognition methods, our method is more robust and flexible. The experiments conducted on two real multi-modal emotion datasets have demonstrated the superiority of our framework over a number of competitors.

연구 동기 및 목표

• 다중모달 감정 인식에서 저질의 품질과 부족한 레이블이 지정된 생리적 감정 데이터의 문제를 해결한다.
• 뇌파, 눈동자의 움직임, 얼굴 표정과 같은 다양한 모달로부터 상보적인 신호를 융합하여 단일 모달 감정 인식의 한계를 극복한다.
• 많은 양의 레이블이 지정되지 않은 다중모달 데이터를 효과적으로 활용하여 모델의 일반화 능력을 향상시키는 견고한 반감성 학습 프레임워크를 개발한다.
• 데이터 특성에 따라 각 모달의 기여도를 적응적으로 학습할 수 있도록 융합 과정에서 자동으로 모달 가중치를 조정한다.

제안 방법

• 잠재 변수의 후행 분포를 혼합 정규분포로 모델링하여 기존 VAE 프레임워크를 확장한 다중시각 변분 오토인코더(MVAE)를 제안함으로써 효과적인 다중모달 표현 학습을 가능하게 한다.
• 변분 추론을 사용하여 반감성 분류 문제를 누락된 데이터 보정 문제로 재정의함으로써, 학습 중에 레이블이 지정되지 않은 데이터를 활용할 수 있도록 한다.
• 딥 네ural 네트워크와 베이지안 추론을 통합하여 표현 학습과 분류를 동시에 최적화하며, 확장 가능한 변분 추론 방법을 사용한다.
• 각 모달의 예측 능력과 신뢰성에 따라 기여도를 동적으로 조정할 수 있는 학습 가능한 모달 가중치 메커니즘을 도입한다.
• 재구성 오차와 분류 오차를 조합한 손실 함수를 사용하여 확률적 경사 하강법으로 모델을 종합적으로 훈련하며, 스케일링 상수 β에 의해 정규화된다.
• 일반화 능력을 평가하기 위해 유도적 및 이행적 학습 설정을 적용하여 다양한 데이터 분할과 레이블 비율을 대상으로 한다.

실험 결과

연구 질문

• RQ1 깊이 있는 생성 모델은 감정 인식에서 여러 생리적 및 행동적 모달로부터 공유되고 분리된 표현을 효과적으로 학습할 수 있는가?
• RQ2 레이블이 제한된 상황에서 반감성 학습을 통해 레이블이 지정되지 않은 데이터를 통합하면 성능 향상이 어떻게 이루어지는가?
• RQ3 제안된 모델은 수동 조정 없이 최적의 모달별 가중치를 자동으로 학습할 수 있는가?
• RQ4 다양한 레이블 비율에서 제안된 반감성 다중시각 VAE의 성능는 감독 학습 및 기존 반감성 기반 기준 모델보다 어떻게 비교되는가?
• RQ5 스케일링 상수 β는 재구성과 분류 목표 간의 균형을 어떻게 영향을 미치는가?

주요 결과

• 제안된 semiMVAE 프레임워크는 SEED 및 DEAP 데이터셋에서 모두 평균 정확도가 가장 높으며, 모든 레이블 비율에서 감독 학습 및 반감성 학습 기반의 모든 기준 모델들을 뛰어넘는다.
• 레이블이 1%인 경우에도 semiMVAE는 SEED 데이터셋에서 86.1% ± 3.7%의 정확도를 기록했고, DEAP 데이터셋에서는 42.4% ± 2.0%의 정확도를 달성하여, 더 큰 레이블 세트로 훈련된 완전한 감독 학습 모델조차도 뛰어넘었다.
• 두 데이터셋 모두에서 뇌파 모달이 학습된 모달 가중치 메커니즘에서 가장 높은 가중치를 할당받았으며, 이는 감정 인식에서 강력한 분류 능력을 지닌다는 것을 반영한다.
• 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터의 비율이 증가할수록 semiMVAE의 성능이 단조롭게 향상되었으며, 이는 두 데이터 유형을 효과적으로 활용하고 있음을 보여준다.
• 스케일링 상수 β는 성능에 상당한 영향을 미치며, 최적의 결과는 β = 0.1, 0.5 또는 1일 때 달성되었으며, 이는 재구성과 분류 간의 균형이 매우 중요하다는 것을 시사한다.
• 얕은 그래프 기반 반감성 모델(AMMSS, AMGL)은 깊이 있는 계층적 특징을 추출할 수 없어 성능이 가장 열 劣하였으며, 이는 깊이 있는 생성 모델링의 우수성을 입증한다.