[논문 리뷰] Annotation and Detection of Emotion in Text-based Dialogue Systems with CNN

Jialiang Zhao, Qi Gao|arXiv (Cornell University)|2017. 10. 03.

Sentiment Analysis and Opinion Mining참고 문헌 8인용 수 3

한 줄 요약

이 논문은 중국어 텍스트 기반 대화에서 정서 감지를 위한 딥 컨volution 신경망(CNN) 기반 모델인 EmoNet을 제안한다. 전통적인 전처리 방식인 분할 및 키워드 추출을 회피함으로써 언어적 순서와 맥락을 유지한다. 잔차 연결과 엔드 투 엔드 학습을 활용한 깊은 CNN 아키텍처를 통해, 12,000개의 대화로 구성된 데이터셋에서 상위 1위 정확도 72.8%를 달성하였으며, 다중 클래스 정서 감지 분야에서 최신 기술을 능가한다.

ABSTRACT

Knowledge of users' emotion states helps improve human-computer interaction. In this work, we presented EmoNet, an emotion detector of Chinese daily dialogues based on deep convolutional neural networks. In order to maintain the original linguistic features, such as the order, commonly used methods like segmentation and keywords extraction were not adopted, instead we increased the depth of CNN and tried to let CNN learn inner linguistic relationships. Our main contribution is that we presented a new model and a new pipeline which can be used in multi-language environment to solve sentimental problems. Experimental results shows EmoNet has a great capacity in learning the emotion of dialogues and achieves a better result than other state of art detectors do.

연구 동기 및 목표

• 언어적 구조와 맥락을 유지하는 중국어 대화를 위한 강력한 정서 감지 시스템을 개발한다.
• 분할 및 키워드 추출과 같은 전통적 전처리 방식의 한계를 극복하여 단어 순서를 왜곡하고 정서적 뉘앙스를 손실하는 문제를 해결한다.
• 수동적 특징 공학 없이 엔드 투 엔드 정서 분류에 깊은 CNN의 효과를 평가한다.
• 기존 최신 기술 모델들과의 비교를 통해 EmoNet의 성능을 평가한다.

제안 방법

• EmoNet는 32, 64, 128, 256차원의 컨볼루션 필터를 가진 9층의 깊은 CNN을 사용하며, 최대 풀링 및 완전 연결층을 거친다.
• 모델은 원시 UTF-8 인코딩된 중국어 문자를 직접 처리하여 분할 및 어간 추출을 피함으로써 단어 순서와 문법적 맥락을 유지한다.
• 노이즈 감소와 학습 효율 향상을 위해 정지어는 입력 시퀀스에서 제거되지만, 순서는 유지된다.
• 기존의 LUT 기반 어휘 빈도 인코딩 대신, 입력 길이를 표준화하기 위해 재표본화 기법을 사용한다.
• 학습률(γ = 5×10⁻⁶)과 L2 정규화(L = 1.5×10⁻⁴)와 같은 하이퍼파rameter는 최적화를 위해 그리드 서치를 통해 설정된다.
• 활성화 함수로 ReLU를 사용하고, 정규화를 위해 드롭아웃을 적용하며, 다중 클래스 출력(긍정, 부정, 궁금해함, 중립)에는 소프트맥스를 사용한다.

실험 결과

연구 질문

• RQ1 딥 CNN 모델이 분할 또는 키워드 추출 없이도 중국어 대화의 정서를 감지할 수 있는가? 이때 언어적 순서는 유지되는가?
• RQ2 EmoNet의 성능은 기존 최신 기술 기반 정서 감지기와 비교해 어떻게 다른가?
• RQ3 전처리 단계가 생략되었을 때 정서 감지 정확도와 모델 일반화 능력에 어떤 영향을 미치는가?
• RQ4 왜 긍정 정서 감지 정확도가 다른 클래스보다 낮은가? 이는 훈련 데이터 내 빈도 높은 비유적 표현과 모호한 표현과 어떤 관련이 있는가?

주요 결과

• 100 에포크의 훈련 후, 12,000개의 대화로 구성된 테스트 세트에서 EmoNet는 상위 1위 정확도 72.8%를 달성하였으며, Multi-Modal Net(65.48%) 및 ESiN보다 전체 정확도에서 뛰어난 성능을 보였다.
• ‘궁금해함’ 정서 감지에서 가장 높은 정확도(85%)를 기록하였으며, 이는 물음표 및 의문사와 같은 명시적 표시가 존재하기 때문으로 분석된다.
• 중립 정서 감지 정확도는 가장 높았으며(73%), 그러나 명확한 정서적 신호가 없는 경우 많은 오진이 발생하여 중립으로 잘못 분류되는 경향이 있었다.
• 긍정 정서 감지 정확도는 가장 낮았으며(57%), 이는 훈련 데이터 내 빈도 높은 비유적 표현과 모호한 표현이 인간에게도 식별하기 어려운 점과 관련이 있다.
• 중립 상태 감지 성능(73%)은 Multi-Modal Net(71.37%)보다 뛰어나며, ESiN의 최고 성능(80% 이상)과 유사한 수준이었다.
• 최적화된 하이퍼파rameter(γ = 5×10⁻⁶, L = 1.5×10⁻⁴)가 가장 좋은 결과를 냈으며, 훈련 곡선상 첫 에포크 동안 손실 값이 안정적으로 감소하는 경향을 보였다.