[논문 리뷰] Linking emotions to behaviors through deep transfer learning

Haoqi Li, Brian Baucom외 1명|arXiv (Cornell University)|2019. 10. 08.

Emotion and Mood Recognition참고 문헌 78인용 수 4

한 줄 요약

이 논문은 정신치료 맥락에서 자동 행동 인식을 향상시키기 위해 말의 정서 인식을 행동 원천으로 활용하는 딥 트랜스퍼 러닝 프레임워크를 제안한다. 감정 동적 변화를 분석하고 감정에 영향을 받는 특징을 추출하기 위해 하이브리드 CNN-RNN 아키텍처를 사용함으로써, 특히 수용 및 긍정성과 같은 복잡하고 맥락에 의존하는 행동에 대해 감정 역학이 행동 분류 성능을 크게 향상시킴을 입증한다.

ABSTRACT

Human behavior refers to the way humans act and interact. Understanding human behavior is a cornerstone of observational practice, especially in psychotherapy. An important cue of behavior analysis is the dynamical changes of emotions during the conversation. Domain experts integrate emotional information in a highly nonlinear manner, thus, it is challenging to explicitly quantify the relationship between emotions and behaviors. In this work, we employ deep transfer learning to analyze their inferential capacity and contextual importance. We first train a network to quantify emotions from acoustic signals and then use information from the emotion recognition network as features for behavior recognition. We treat this emotion-related information as behavioral primitives and further train higher level layers towards behavior quantification. Through our analysis, we find that emotion-related information is an important cue for behavior recognition. Further, we investigate the importance of emotional-context in the expression of behavior by constraining (or not) the neural networks' contextual view of the data. This demonstrates that the sequence of emotions is critical in behavior expression. To achieve these frameworks we employ hybrid architectures of convolutional networks and recurrent networks to extract emotion-related behavior primitives and facilitate automatic behavior recognition from speech.

연구 동기 및 목표

• 임상 대화 맥락에서 기본 감정이 자동 행동 인식을 위한 효과적인 행동 원천이 될 수 있는지 조사하기 위해.
• 특히 정신치료 맥락에서 행동 표현을 형성하는 감정 역학의 순차적이고 맥락적인 특성의 역할을 검토하기 위해.
• 복잡하고 도메인 특화된 행동을 예측할 때 감정 기반 특징과 원시 음향 특징의 효과성을 평가하기 위해.
• 감정 기반 표현을 사용하여 행동 정량화에 최적의 시간적 맥락 창문을 결정하기 위해.
• 하향 분류 작업을 위한 사전 훈련 태스크로 감정 인식을 활용하는 트랜스퍼 러닝 프레임워크를 개발하기 위해.

제안 방법

• 초기 단계에서 음향 및 프로소딕 특징을 사용하여 말 신호에서 여섯 가지 기본 감정(분노, 혐오, 두려움, 기쁨, 슬픔, 놀라움)을 인식하기 위한 딥 네ural 네트워크를 훈련한다.
• 사전 훈련된 네트워크에서 학습된 감정 표현은 특징 추출기로 사용되며, 이러한 감정 관련 특징은 행동 분류를 위한 '행동 원천'으로 간주된다.
• 감정 시퀀스의 국소 패턴과 순차적 의존성을 동시에 모델링하기 위해 컨volutional 신경망(CNNs)과 순환 신경망(RNNs)을 조합한 하이브리드 아키텍처를 사용한다.
• 두 모델을 비교한다: 10분 분량의 대화를 사용하는 전체 맥락 모델과 16초 창만을 사용하는 감소된 맥락 모델로, 시간적 맥락의 중요성을 평가한다.
• 감정 기반 특징을 입력으로 사용하여 행동 인식 작업에서 네트워크의 고수준 계층을 미세 조정함으로써 트랜스퍼 러닝을 적용한다.
• 시스템은 임상 대화 데이터셋에서 평가되며, 행동 레이블은 기존의 애너테이션 매뉴얼에서 유래한다. 성능은 피어슨 상관계수(PUR) 및 기타 지표로 측정된다.

실험 결과

연구 질문

• RQ1 말에서 유추된 기본 감정 상태가 임상 상호작용에서 복잡한 인간 행동을 예측하는 데 효과적인 원천이 될 수 있는가?
• RQ2 고립된 감정 상태와 비교할 때 감정의 순차적 순서와 맥락적 진화가 행동 인식에 얼마나 기여하는가?
• RQ3 맥락 창의 길이(예: 16초 대비 10분)가 행동 예측 정확도에 어떤 영향을 미치는가?
• RQ4 감정 기반 특징이 원시 음향 특징이나 이진 감정 표현보다 행동 분류에 더 효과적인가?
• RQ5 어떤 유형의 행동(예: 수용, 비난, 긍정성)이 맥락 기반 감정 모델링에서 특히 유리한가?

주요 결과

• 감정 기반 특징은 원시 음향 특징이나 이진 감정 표현을 사용하는 기준 모델에 비해 행동 분류 정확도를 크게 향상시킨다.
• 장기간 대화에서 감정의 순차적 역학을 포착하는 전체 맥락 모델은 모든 행동에서 감소된 맥락 모델을 일관되게 능가하며, 시간적 맥락의 중요성을 확인한다.
• 수용 및 긍정성과 같은 행동은 전체 맥락 정보를 사용할 경우 성능 향상 폭이 가장 크며(예: PUR 차이가 더 큼), 이는 지속적인 감정 패턴에 의존함을 시사한다.
• 반면 비난과 같은 행동은 장기적 맥락에서 거의 이득을 보이지 않으며, 이는 짧고 두드러진 감정 자극에 의해 주로 유도됨을 시사한다.
• 감정 지속성이 요구되는 행동, 예를 들어 긍정성과 같이 시간에 걸쳐 일관된 긍정적 정서가 요구되는 행동에서 모델은 가장 높은 성능를 기록한다.
• 슬픔은 감정 기반 특징의 도움에도 불구하고 가장 정확하게 예측하기 어려운 행동이며, 이는 클래스 불균형과 데이터 내 경계의 모호함 때문일 가능성이 높다.