[論文レビュー] Learning Word Ratings for Empathy and Distress from Document-Level User Responses

João Sedoc, Sven Buechel+3 more|arXiv (Cornell University)|Dec 2, 2019

Topic Modeling被引用数 15

ひとこと要約

本稿では、文書レベルのユーザーレスポンスから単語レベルのスコアを学習する混合レベルフィードフォワードネットワーク（MLFFN）を用いて、NLP分野で初めての共感と苦痛の語彙を構築した。この手法は、既存の手法を上回る性能を示す。アプローチでは、トレーニング済みのニューラルネットワークを逆方向に適用し、単語レベルの共感と苦痛スコアを導出することで、解釈可能で頑健かつ公開可能な語彙を実現した。心理的およびNLP応用分野に貢献する。

ABSTRACT

Despite the excellent performance of black box approaches to modeling sentiment and emotion, lexica (sets of informative words and associated weights) that characterize different emotions are indispensable to the NLP community because they allow for interpretable and robust predictions. Emotion analysis of text is increasing in popularity in NLP; however, manually creating lexica for psychological constructs such as empathy has proven difficult. This paper automatically creates empathy word ratings from document-level ratings. The underlying problem of learning word ratings from higher-level supervision has to date only been addressed in an ad hoc fashion and has not used deep learning methods. We systematically compare a number of approaches to learning word ratings from higher-level supervision against a Mixed-Level Feed Forward Network (MLFFN), which we find performs best, and use the MLFFN to create the first-ever empathy lexicon. We then use Signed Spectral Clustering to gain insights into the resulting words. The empathy and distress lexica are publicly available at: http://www.wwbp.org/lexica.html.

研究の動機と目的

• NLP分野における共感と苦痛の解釈可能で頑健な語彙の不足に応えるため。
• 共感と自己指向的苦痛の間の曖昧さにより、共感語彙の手動キュレーションが困難であるという課題を克服するため。
• 深層学習を用いて、上位レベル（文書レベル）の教師信号から単語レベルのスコアを体系的に学習する手法を開発するため。
• 新しいニューラルインバージョンアプローチを用いて、公開可能な最初の共感と苦痛の語彙を構築するため。
• 符号付きスペクトルクラスタリングを用いて、共感的言語における意味的パターンを解明するため。

提案手法

• 単語レベルの特徴から文書レベルの共感と苦痛スコアを予測する混合レベルフィードフォワードネットワーク（MLFFN）を訓練する。
• トレーニング済みのMLFFNモデルを逆方向に適用し、文書レベルの出力を単語レベルの入力に逆伝播させることで、単語レベルのスコアを導出する。
• Empathic Reactionsデータセットを用いた教師あり学習の設定により、文書レベルの共感と苦痛スコアの学習を実施する。
• 学習された単語スコアに対して符号付きスペクトルクラスタリングを適用し、高・低共感／苦痛語の意味的クラスタを同定する。
• クラスタを手動でラベル付けし、語彙に含まれる名前付きエンティティ（例：人物、組織）の割合を推定する。
• 線形モデルやオートエンコーダーを含む他のベースライン手法と比較して、MLFFNの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、文書レベルのユーザーレスポンスから単語レベルの共感と苦痛スコアを効果的に学習できるか？
• RQ2 MLFFNモデルは、上位レベルの教師信号から単語スコアを学習する既存のアドホックまたは非深層学習手法と比較して、どのように優れているか？
• RQ3 学習された共感と苦痛スコアに基づいて語をクラスタリングした際、どのような意味的パターンが浮き彫りになるか？
• RQ4 名前付きエンティティ（例：人物、組織）は、結果として得られた共感と苦痛語彙にどの程度含まれているか？
• RQ5 得られた語彙は、心理的およびNLP応用分野において、どの程度解釈可能で頑健か？

主な発見

• MLFFNモデルは、線形モデルやオートエンコーダーを含む他の手法と比較して、文書レベルの教師信号から単語レベルの共感と苦痛スコアを学習する際、顕著に優れた性能を示した。
• 得られた共感と苦痛語彙は、http://www.wwbp.org/lexica.html で公開されており、NLPおよび心理的研究に利用可能である。
• 符号付きスペクトルクラスタリングにより、共感的関心（例：思いやり、繊細）に関連する語のクラスタや、個人的苦痛（例：不安、圧倒感）に関連する語のクラスタといった意味的グループが明確に浮き彫りになった。
• 語彙の約6％が名前付きエンティティであり、その中で組織と人物が最も頻度が高かった。これは、共感関連の言語がしばしば特定の個人やグループを含むことを示している。
• この手法により、ニューラルネットワークを効果的に逆方向に適用し、信頼性の高い単語スコアを導出できた。深層学習を用いて、解釈可能でドメイン特化した語彙を構築できることが実証された。
• 本研究は、単語レベルのスコアがモデルの解釈性を向上させることの有効性を検証し、今後のSHAPなどの説明可能ツールとの統合を支援する。