[論文レビュー] What we really want to find by Sentiment Analysis: The Relationship between Computational Models and Psychological State

Hwiyeol Jo, Soo-Min Kim+1 more|arXiv (Cornell University)|Apr 11, 2017

Sentiment Analysis and Opinion Mining参考文献 26被引用数 4

ひとこと要約

本研究では、映画レビューで訓練された深層学習モデル（CNN、LSTM、GRU）を用いて参加者の小説要約を評価することで、計算的センチメント分析モデルと人間の心理的状態との整合性を調査している。CNNはセンチメントタスクで最も優れた成績を示したが、GRUは参加者の実際の心理的状態とより強い相関を示した。これは、GRUベースのモデルがテキスト内の主観的な感情経験をよりよく反映している可能性を示唆している。

ABSTRACT

As the first step to model emotional state of a person, we build sentiment analysis models with existing deep neural network algorithms and compare the models with psychological measurements to enlighten the relationship. In the experiments, we first examined psychological state of 64 participants and asked them to summarize the story of a book, Chronicle of a Death Foretold (Marquez, 1981). Secondly, we trained models using crawled 365,802 movie review data; then we evaluated participants' summaries using the pretrained model as a concept of transfer learning. With the background that emotion affects on memories, we investigated the relationship between the evaluation score of the summaries from computational models and the examined psychological measurements. The result shows that although CNN performed the best among other deep neural network algorithms (LSTM, GRU), its results are not related to the psychological state. Rather, GRU shows more explainable results depending on the psychological state. The contribution of this paper can be summarized as follows: (1) we enlighten the relationship between computational models and psychological measurements. (2) we suggest this framework as objective methods to evaluate the emotion; the real sentiment analysis of a person.

研究の動機と目的

• テキスト生成における計算的センチメントモデルと人間の心理的状態との関係を調査すること。
• 大規模データで訓練されたセンチメント分析モデルが、言語的パターンの単なる反復ではなく、真の感情状態を反映しているかどうかを評価すること。
• トランスファーラーニングを用いてセンチメントモデルから得られるスコアが、個人の物語的記述における感情的コンテンツの客観的指標として有効かどうかを評価すること。
• CNN、LSTM、GRUのうち、どの深層学習アーキテクチャが人間が生成した要約における心理的状態を最もよく捉えられるかを特定すること。
• 高精度のセンチメントモデルが、必然的に真の感情表現を反映していると仮定することを疑問視すること。

提案手法

• 標準化された評価法を用いて64名の参加者から心理的状態の測定値を収集した。
• 参加者に『死を予言された物語』の内容要約を記述してもらった。
• 365,802件の映画レビューで訓練された、3つの深層ニューラルネットワークモデル（CNN、LSTM、GRU）をセンチメント分析の目的で学習させた。
• 事前学習済みモデルを用いて、参加者の要約のセンチメントをトランスファーラーニングにより評価した。
• モデルが生成したセンチメントスコアと参加者の心理的測定値との相関を分析した。
• 統計的分析を用いて、アーキテクチャごとのモデル性能と心理的状態との整合性を比較した。

実験結果

リサーチクエスチョン

• RQ1 大規模データで訓練された計算的センチメントモデルは、個々人の実際の心理的状態をどの程度反映しているか。
• RQ2 CNN、LSTM、GRUの中では、どの深層学習アーキテクチャがモデル出力と心理的状態の間で最も強い相関を示すか。
• RQ3 標準的なセンチメントベンチマーク（例：映画レビューの正解率）で高い性能を示すことは、主観的な感情状態との整合性が優れていることを保証するか。
• RQ4 センチメントモデルからのトランスファーラーニングが、個人の物語的記述における感情的コンテンツの客観的代理指標として機能できるか。
• RQ5 感情状態が人々が物語の要約においてどのようにセンチメントを表現するかに影響を与えるのか。また、モデルはその影響を検出できるか。

主な発見

• CNNモデルは、テストされた3つのアーキテクチャの中で、標準的なセンチメント分類タスクで最も高い性能を示した。
• ベンチマークデータで優れた成績を収めたにもかかわらず、CNNのセンチメントスコアは参加者の心理的状態と有意な相関を示さなかった。
• GRUモデルは心理的測定値とより解釈可能で意味のある関係を示し、主観的な感情状態との整合性がより高いことを示唆した。
• LSTMモデルは中間的な結果を示したが、心理的状態との相関はGRUに劣っていた。
• 研究結果から、標準データセットでのモデル性能が、個人の物語的記述における人間の感情状態を捉える能力を示すとは限らないことが明らかになった。
• 本研究は、メンタルヘルスのモニタリングや共感的なAIなど、感情の真正性が求められる応用分野において、GRUベースのモデルがより適している可能性を示唆している。