[논문 리뷰] What we really want to find by Sentiment Analysis: The Relationship between Computational Models and Psychological State

Hwiyeol Jo, Soo-Min Kim외 1명|arXiv (Cornell University)|2017. 04. 11.

Sentiment Analysis and Opinion Mining참고 문헌 26인용 수 4

한 줄 요약

이 연구는 영화 리뷰 데이터로 훈련된 딥 러닝 모델(CNN, LSTM, GRU)을 활용해 참가자들이 작성한 책 요약문을 평가함으로써, 계산 기반의 감성 분석 모델과 인간의 심리적 상태 간의 일치성을 조사한다. 비록 CNN 모델이 감성 작업에서 가장 뛰어난 성능을 보였지만, GRU 모델은 참가자들의 실제 심리적 상태와 더 강한 상관관계를 보였으며, 이는 GRU 기반 모델이 텍스트 내 주관적인 정서 경험을 더 잘 반영할 수 있음을 시사한다.

ABSTRACT

As the first step to model emotional state of a person, we build sentiment analysis models with existing deep neural network algorithms and compare the models with psychological measurements to enlighten the relationship. In the experiments, we first examined psychological state of 64 participants and asked them to summarize the story of a book, Chronicle of a Death Foretold (Marquez, 1981). Secondly, we trained models using crawled 365,802 movie review data; then we evaluated participants' summaries using the pretrained model as a concept of transfer learning. With the background that emotion affects on memories, we investigated the relationship between the evaluation score of the summaries from computational models and the examined psychological measurements. The result shows that although CNN performed the best among other deep neural network algorithms (LSTM, GRU), its results are not related to the psychological state. Rather, GRU shows more explainable results depending on the psychological state. The contribution of this paper can be summarized as follows: (1) we enlighten the relationship between computational models and psychological measurements. (2) we suggest this framework as objective methods to evaluate the emotion; the real sentiment analysis of a person.

연구 동기 및 목표

• 텍스트 생성에서 계산 기반 감성 모델과 인간의 심리적 상태 간의 관계를 탐색하기.
• 대규모 데이터로 훈련된 감성 분석 모델이 순수한 언어 패턴이 아닌 진정된 정서 상태를 반영하는지 평가하기.
• 감성 모델에서의 전이 학습을 개인적 서사에서 정서적 내용을 객관적으로 측정하는 데 사용할 수 있는지 검증하기.
• 딥 러닝 아키텍처(CNN, LSTM, GRU) 중에서 인간이 생성한 요약문에서 심리적 상태를 가장 잘 포착하는 것이 무엇인지 평가하기.
• 높은 성능을 보이는 감성 모델이 반드시 진정된 정서 표현을 반영한다는 가정을 도전하기.

제안 방법

• 표준화된 평가 도구를 사용해 64명의 참가자로부터 심리적 상태 측정치를 수집함.
• *Chronicle of a Death Foretold*의 줄거리 서술을 참가자들로부터 수집함.
• 365,802건의 영화 리뷰 데이터를 기반으로 CNN, LSTM, GRU의 세 가지 딥 뉴럴 네트워크 모델을 훈련하여 감성 분석을 수행함.
• 미리 훈련된 모델을 활용해 전이 학습을 통해 참가자 요약문의 감성을 평가함.
• 모델이 생성한 감성 점수와 참가자들의 심리적 측정치 간의 상관관계를 분석함.
• 통계적 분석을 통해 아키텍처 간의 모델 성능 및 심리적 상태와의 일치도를 비교함.

실험 결과

연구 질문

• RQ1 대규모 데이터로 훈련된 계산 기반 감성 모델이 개인의 실제 심리적 상태를 어느 정도 반영하는가?
• RQ2 CNN, LSTM, GRU 중 어떤 딥 러닝 아키텍처가 모델 출력과 심리적 상태 간의 상관관계가 가장 강한가?
• RQ3 표준 감성 벤치마크(예: 영화 리뷰에서의 정확도)에서 높은 성능을 보이는 것이 주관적인 정서 상태와의 더 나은 일치도를 보장하는가?
• RQ4 감성 모델에서의 전이 학습이 개인적 서사에서 정서적 내용을 측정하는 객관적 대체 측정 기준으로 사용될 수 있는가?
• RQ5 정서 상태가 개인이 서사 요약문에서 감성을 어떻게 표현하는지에 영향을 주며, 이러한 영향을 모델이 탐지할 수 있는가?

주요 결과

• CNN 모델은 테스트된 세 아키텍처 중에서 표준 감성 분류 작업에서 가장 높은 성능을 기록함.
• 벤치마크 데이터에서 뛰어난 성능를 보였음에도 불구하고, CNN의 감성 점수는 참가자들의 심리적 상태와 유의미한 상관관계를 보이지 않음.
• GRU 모델은 심리 측정치와 더 해석 가능하고 의미 있는 관계를 보였으며, 이는 주관적인 정서 상태와의 더 나은 일치도를 시사함.
• LSTM 모델은 중간 수준의 결과를 보였지만, 심리적 상태와의 상관관계는 GRU에 비해 약함.
• 연구 결과는 표준 데이터셋에서의 모델 성능이 반드시 개인적 서사에서 인간의 정서 상태를 포착하는 능력을 반영하지는 않는다는 점을 시사함.
• 본 연구는 GRU 기반 모델이 정서적 진정성 요구가 높은 분야, 예를 들어 정신 건강 모니터링 또는 공감형 AI와 같은 애플리케이션에 더 적합할 수 있음을 제안함.