[논문 리뷰] PT-CoDE: Pre-trained Context-Dependent Encoder for Utterance-level Emotion Recognition

Wenxiang Jiao, Michael R. Lyu외 1명|arXiv (Cornell University)|2019. 10. 20.

Topic Modeling참고 문헌 28인용 수 8

한 줄 요약

이 논문은 영화 대본에서의 문맥적 표현을 학습하기 위해 '대화 완성'(CoCo) 사전 훈련 작업을 도입한, 문장 수준의 정서 인식(ULER)을 위한 사전 훈련된 문맥 의존형 인코더인 PT-CoDE를 제안한다. 계층적 아키텍처를 사용하여 문장 인코더와 대화 인코더를 갖추며, 순수하게 영화 대본을 활용한 비지도 사전 훈련을 통해 다섯 개의 ULER 데이터셋에서 성능을 크게 향상시킨다.

ABSTRACT

Utterance-level emotion recognition (ULER) is a significant research topic for understanding human behaviors and developing empathetic chatting machines in the artificial intelligence area. Unlike traditional text classification problem, this task is supported by a limited number of datasets, among which most contain inadequate conversations or speeches. Such a data scarcity issue limits the possibility of training larger and more powerful models for this task. Witnessing the success of transfer learning in natural language process (NLP), we propose to pre-train a context-dependent encoder (CoDE) for ULER by learning from unlabeled conversation data. Essentially, CoDE is a hierarchical architecture that contains an utterance encoder and a conversation encoder, making it different from those works that aim to pre-train a universal sentence encoder. Also, we propose a new pre-training task named "conversation completion" (CoCo), which attempts to select the correct answer from candidate answers to fill a masked utterance in a question conversation. The CoCo task is carried out on pure movie subtitles so that our CoDE can be pre-trained in an unsupervised fashion. Finally, the pre-trained CoDE (PT-CoDE) is fine-tuned for ULER and boosts the model performance significantly on five datasets.

연구 동기 및 목표

• 문장 수준의 정서 인식(ULER)에서 레이블이 부족한 문제를 해결하여, 문맥 의존형 모델의 훈련을 가능하게 하기 위해.
• 유니버설 문장 인코더와는 다름없이 문장 수준 및 대화 수준의 문맥을 모두 포착하는 계층적 인코더 아키텍처를 개발하기 위해.
• 대규모 영화 대본을 기반으로 새로운 작업인 '대화 완성'을 활용해 ULER를 위한 비지도 사전 훈련을 가능하게 하기 위해.
• 전이 학습을 통해 저자원 ULER 데이터셋에서의 모델 일반화 능력과 성능을 향상시키기 위해.

제안 방법

• 문맥 독립적 임베딩을 위한 문장 인코더와 문맥 인식 표현을 위한 대화 인코더를 갖춘 이중 단계 계층적 인코더 아키텍처를 제안한다.
• 대화 내에서 마스킹된 문장을 후보 응답들로부터 예측하는 '대화 완성'(CoCo) 사전 훈련 작업을 도입한다.
• 인간의 레이블 없이 순수한 영화 대본을 사용하여 자연스러운 대화 구조를 활용해 자기 지도 학습(self-supervised learning)을 수행한다.
• 사전 훈련된 모델(PT-CoDE)을 다섯 개의 ULER 데이터셋에서 미세 조정하여 정서 분류 작업에 적응시킨다.
• CoCo 작업에서 올바른 응답을 원본 및 노이즈가 섞인 문장들로 구성된 후보 집합에서 선택하는 대비 학습(contrastive learning) 설정을 사용한다.
• 장거리 의존성을 포착하기 위해 문장 인코더와 대화 인코더 양쪽 모두에 양방향 트랜스포머 기반 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 대규모 비라벨 대화 데이터에서 사전 훈련된 문맥 의존형 인코더는 저자원 문장 수준의 정서 인식 작업에서 성능 향상에 기여하는가?
• RQ2 제안된 '대화 완성'(CoCo) 작업은 ULER를 위한 의미 있는 문맥 표현을 학습하는 데 얼마나 효과적인가?
• RQ3 문장 인코더와 대화 인코더를 별도로 사전 훈련하는 것이 무작위 초기화로부터의 훈련보다 더 높은 성능을 내는가?
• RQ4 PT-CoDE는 ULER에서 소수의 정서 클래스 탐지에 있어 클래스 불균형 문제를 얼마나 효과적으로 완화하는가?
• RQ5 모델 규모가 저자원 ULER 데이터셋 환경에서 사전 훈련의 성능 향상에 미치는 영향은 어느 정도인가?

주요 결과

• PT-CoDE는 다섯 개의 ULER 데이터셋 전반에서 뚜렷한 성능 향상을 기록했으며, 모든 경우에서 기본 CoDE 모델을 능가한다.
• IEMOCAP 데이터셋에서 PT-CoDE는 F1 스코어 81.5±0.4를 기록했으며, 기본 CoDE(78.6±1.3)보다 2.9%p 향상되었다.
• Friends 데이터셋에서 PT-CoDE는 F1 스코어 65.9±0.7을 기록했으며, CoDE(62.4±0.4)보다 3.5%p 향상되었다.
• 문장 인코더만 사전 훈련한 경우(CoDE+PT-U)는 IEMOCAP에서 F1을 1.5%p 향상시키고, Friends에서는 2.4%p 향상시켜 사전 훈련된 문장 특징의 유용성을 입증했다.
• 단어 임베딩 레이어를 재학습한 경우(PT-CoDE+RT-W)는 Friends에서 1.4%p 성능 저하를 보였으며, 이는 사전 훈련된 표현을 방해할 수 있음을 시사한다.
• 정성 분석 결과, PT-CoDE는 CoDE보다 더 나은 성능을 보이며, 특히 문장 부호가 없거나 모호한 문장에서 슬픔과 기쁨과 같은 소수의 정서 클래스를 더 잘 식별한다.