[논문 리뷰] A First Step in Combining Cognitive Event Features and Natural Language Representations to Predict Emotions

Andres Campero, Bjarke Felbo외 2명|arXiv (Cornell University)|2017. 10. 23.

Topic Modeling참고 문헌 4인용 수 3

한 줄 요약

이 논문은 정서 이론의 인지 평가 특징과 사전 훈련된 자연어 처리 표현(예: DeepMoji)을 결합하여 세분화된 정서 예측을 향상시키는 다중 작업 학습 프레임워크를 제안한다. 정서, 이모지, 평가 예측을 함께 훈련함으로써 모델는 인간 수준의 성능(65% 정확도)을 달성하였고, 인간이 라벨링한 평가만으로는 달성할 수 없는 정신화 뇌 영역의 신경 활동과 더 잘 일치하는 표현 유사성 구조를 생성한다.

ABSTRACT

We explore the representational space of emotions by combining methods from different academic fields. Cognitive science has proposed appraisal theory as a view on human emotion with previous research showing how human-rated abstract event features can predict fine-grained emotions and capture the similarity space of neural patterns in mentalizing brain regions. At the same time, natural language processing (NLP) has demonstrated how transfer and multitask learning can be used to cope with scarcity of annotated data for text modeling. The contribution of this work is to show that appraisal theory can be combined with NLP for mutual benefit. First, fine-grained emotion prediction can be improved to human-level performance by using NLP representations in addition to appraisal features. Second, using the appraisal features as auxiliary targets during training can improve predictions even when only text is available as input. Third, we obtain a representation with a similarity matrix that better correlates with the neural activity across regions. Best results are achieved when the model is trained to simultaneously predict appraisals, emotions and emojis using a shared representation. While these results are preliminary, the integration of cognitive neuroscience and NLP techniques opens up an interesting direction for future research.

연구 동기 및 목표

• 정서 표현 향상을 위해 인지 과학의 평가 이론과 현대 NLP 기법을 통합하기.
• 전이 학습과 다중 작업 학습을 활용하여 정서 예측의 데이터 부족 문제를 해결하기.
• 평가, 정서, 이모지의 공동 모델링이 표현 품질과 신경 유사성 향상에 기여하는지 평가하기.
• NLP 표현과 인지 특징을 조합할 경우 정서 예측 성능 향상이 가능한지 확인하기.
• 다중 작업 훈련이 정신화 뇌 영역의 신경 패턴과 더 잘 관련된 표현을 생성하는지 평가하기.

제안 방법

• 200개의 정서적으로 강한 이야기에서 문맥 기반 텍스트 표현을 추출하기 위해 사전 훈련된 DeepMoji 모델을 미세 조정하였다.
• 인지 과학에서 수기로 라벨링한 38개의 평가 특징과 이러한 NLP 표현을 융합하였다.
• 공유된 표현을 사용하여 정서, 이모지, 평가 특징을 동시에 예측하는 다중 작업 모델을 훈련시켰다.
• 공유된 표현 레이어 이후로 정서 분류, 이모지 예측, 평가 특징 복원을 위한 세 개의 별도 헤드를 사용하였다.
• 평가 특징 복원에는 평균 제곱 오차 손실을, 정서 및 이모지 분류에는 다중 분류 교차 엔트로피 손실을 적용하였다.
• 정서 분류 성능 평가에 선형 SVM를 사용하였고, 모델 표현을 fMRI 신경 데이터와 비교하기 위해 표현의 이질성 행렬(RDM)을 사용하였다.

실험 결과

연구 질문

• RQ1 NLP 표현과 인지 평가 특징을 조합함으로써 최신 기준보다 더 높은 세분화된 정서 예측 성능 향상이 가능한가?
• RQ2 훈련 중 평가 특징을 보조 목표로만 사용할 경우, 텍스트만으로도 정서 예측 성능 향상이 이루어지는가?
• RQ3 정서, 이모지, 평가 예측을 함께 하는 다중 작업 학습이 정신화 뇌 영역의 신경 패턴과 더 잘 일치하는 표현을 생성하는가?
• RQ4 모델 출력의 표현 유사성은 인간이 라벨링한 평가 특징과 신경 데이터와 비교해 어떻게 나타나는가?
• RQ5 대규모 이모지 예측에서의 전이 학습이 자원이 제한된 정서 분류 작업의 성능 향상에 기여하는가?

주요 결과

• NLP 표현과 평가 특징을 조합한 다중 작업 모델은 정서 예측에서 64%의 정확도를 달성하여 인간 수준의 성능(65%)에 근접하였다.
• 평가 특징을 훈련 중 보조 목표로만 사용했을 경우, 텍스트만으로도 모델는 42%의 정확도를 기록하여 기준 모델보다 뚜렷이 뛰어났다.
• 다중 작업 모델의 표현 이질성 행렬(RDM)은 정신화 뇌 영역 활동과 키틴드 상관계수 0.29를 기록하여 DeepMoji(0.25)와 평가 특징 단독(0.27)보다 뛰어났다.
• 다중 작업 모델의 표현은 인간이 라벨링한 평가 특징보다 RTPJ(0.27)와 정신화 네트워크(0.29)의 신경 패턴과 더 강하게 관련되어 있었다.
• 정서, 이모지, 평가 예측의 세 가지 작업을 함께 훈련한 모델는 단일 모odal 접근 방식보다 정신화 뇌 영역의 유사성 구조를 더 잘 반영하는 표현을 생성하였다.
• NLP 표현과 평가 특징의 조합은 최고의 기준 모델인 DeepMoji(53%) 대비 정서 분류 성능을 7% 향상시켰다(다중 작업: 64%).