[論文レビュー] Incorporating Emotion and Personality-Based Analysis in User-Centered Modelling

Mohamed M. Mostafa, Tom Crick+2 more|arXiv (Cornell University)|Aug 10, 2016

Sentiment Analysis and Opinion Mining参考文献 25被引用数 5

ひとこと要約

本論文は、オンライン・ソーシャル・システムにおけるシステム状態（例：障害またはアイドル状態）を予測するために、パーソナリティ特徴（オピニオン・ファイブ）と社会的感情トーン（喜び、悲しみ、怒り、嫌悪）を統合するユーザ中心のモデリングフレームワークを提案する。ソーシャルメディアのテキストに対してIBM Watson Tone AnalyzerとLIWCを用いた言語的分析を行い、57件のテストインスタンスにおいて75.44％の正確性を達成し、感情とパーソナリティに基づく分析が、ユーザーエクスペリエンスの向上に寄与する予測モデリングを強化することを示している。

ABSTRACT

Understanding complex user behaviour under various conditions, scenarios and journeys can be fundamental to the improvement of the user-experience for a given system. Predictive models of user reactions, responses -- and in particular, emotions -- can aid in the design of more intuitive and usable systems. Building on this theme, the preliminary research presented in this paper correlates events and interactions in an online social network against user behaviour, focusing on personality traits. Emotional context and tone is analysed and modelled based on varying types of sentiments that users express in their language using the IBM Watson Developer Cloud tools. The data collected in this study thus provides further evidence towards supporting the hypothesis that analysing and modelling emotions, sentiments and personality traits provides valuable insight into improving the user experience of complex social computer systems.

研究の動機と目的

• ユーザ生成のソーシャルメディアコンテンツからのパーソナリティ特徴と感情トーンを用いて、システム状態（例：障害またはアイドル）を予測するモデルを開発すること。
• オンライン相互作用における感情表現とパーソナリティ特徴の間の相関関係を調査すること。
• IBM Watson Developer Cloudのような低コストでスケーラブルなツールが、社会的技術的システムにおける感情とパーソナリティ分析に実用的であるかを評価すること。
• 心理言語的プロファイルを活用して、適応型システムにおけるユーザーエクスペリエンスを向上させる基盤フレームワークを提供すること。

提案手法

• オンライン・ソーシャル・ネットワークのテキスト的相互作用から、感情トーン（喜び、悲しみ、怒り、嫌悪）を抽出するためにIBM Watson Tone Analyzerを採用した。
• LIWC心理言語的辞書を用いて、パーソナリティおよび感情状態に関連する心理的意味を持つ語のカテゴリーを特定した。
• 線形回帰分析とピアソン相関分析を適用し、パーソナリティ次元（開放性、外向性、誠実性、神経症傾向）と感情トーンとの間に有意な関係を同定した。
• 選択された入力特徴（開放性、外向性、誠実性、神経症傾向、喜び、悲しみ、怒り、嫌悪）を用いて、システム状態（アイドルまたは障害）を分類する予測モデルを構築した。
• 57件のテストインスタンスを用いてモデルの性能を評価し、正確性、カッパ統計量、および誤差指標（平均絶対誤差、平均二乗誤差）を報告した。

実験結果

リサーチクエスチョン

• RQ1 パーソナリティ特徴（オピニオン・ファイブ）は、オンライン・ソーシャル・メディア相互作用における感情トーンとどの程度相関しているか？
• RQ2 感情とパーソナリティに基づく分析は、オンラインプラットフォームにおけるシステム状態（例：障害またはアイドル）の予測を改善できるか？
• RQ3 ユーザー相互作用におけるシステム状態の変化を予測するのに、どの感情トーンとパーソナリティ次元が最も予測的であるか？
• RQ4 IBM Watson Tone Analyzerは、ソーシャルメディアのテキストから微細な感情的・パーソナリティ的信号を的確に捉えられるか？

主な発見

• 本モデルは、57件のテストインスタンスにおいて、システム状態（アイドルまたは障害）を75.44％の正確性で分類した。正しく分類されたのは43件、誤分類されたのは14件であった。
• カッパ統計量が0.5295であったことから、偶然を超えた中程度の一致が示され、モデルの予測的信頼性を支持する。
• 神経症傾向は、悲しみ（r = -0.488）および嫌悪（r = 0.379）と強い正の相関を示した。一方、喜びは開放性（r = 0.267）と正の相関を示した。
• 協調性は、いかなる感情トーンとも有意な相関を示さなかったため、本文脈では予測的パワーが限定的であると考えられる。
• 怒りは線形回帰分析で有意ではなかったが、ピアソン相関（r = 0.3 から 0.5）が示すところ、入力特徴としての潜在的価値がある。
• 平均絶対誤差（0.3432）および平均二乗誤差（0.4246）が中程度の予測誤差を示しており、小規模データセットを対象とした予備的調査としては妥当である。