[論文レビュー] Happy Together: Learning and Understanding Appraisal From Natural Language

Arun Kumar Rajendran, Chiyu Zhang+1 more|arXiv (Cornell University)|Jun 9, 2019

Mental Health via Writing参考文献 4被引用数 5

ひとこと要約

本稿では、ハッピーデータベース（HappyDB）を用いて、自然言語による幸せな瞬間の記述において、行動の原因（自己・他者・状況起因）と社会性（他者が関与しているか）を分類するための深層学習モデルを提案する。注意機構を備えた双方向LSTMと、高度な文脈的埋め込み（ELMo、CoVe、ULMFiT）を用い、行動分類で87.97%、社会性分類で93.13%の精度を達成。従来の手法や単純な埋め込みを用いたベースラインの深層学習モデルを著しく上回った。

ABSTRACT

In this paper, we explore various approaches for learning two types of appraisal components from happy language. We focus on 'agency' of the author and the 'sociality' involved in happy moments based on the HappyDB dataset. We develop models based on deep neural networks for the task, including uni- and bi-directional long short-term memory networks, with and without attention. We also experiment with a number of novel embedding methods, such as embedding from neural machine translation (as in CoVe) and embedding from language models (as in ELMo). We compare our results to those acquired by several traditional machine learning methods. Our best models achieve 87.97% accuracy on agency and 93.13% accuracy on sociality, both of which are significantly higher than our baselines.

研究の動機と目的

• 自然言語による幸せの表現における行動の原因（自己・他者・状況起因）と社会性（他者が関与しているか）という認知的評価要因を予測する教師ありモデルの開発。
• ELMo や CoVe といった高度な文脈的単語埋め込み、および ULMFiT といったファインチューニング可能な言語モデルが、この新しい分類タスクにどの程度有効であるかを調査すること。
• 注意重みの可視化により、予測に寄与する顕著な語を特定することで、モデルの解釈性を向上させること。
• 例えば TF-IDF を用いた LinSVM といった従来の機械学習手法を用いて強力なベースラインを確立し、比較可能な基準を提供すること。
• 言語的手がかりが感情的経験における心理的構造（行動の原因、社会性）とどのように関連しているかを解明すること。

提案手法

• 行動分類および社会性分類の両タスクに対して、自己注意機構を備えたか否かの双方向LSTMネットワークを訓練した。
• GloVe埋め込みに比べて表現学習を向上させるために、ELMo、CoVe、ULMFiT からの事前学習済み文脈的埋め込みを統合した。
• 一般言語表現を特定タスクに適応させるために、HappyDB データセット上で ULMFiT フレームワークをファインチューニングした。
• 注意機構を用いて語レベルの重みを割り当て、モデルの推論プロセスを可視化し、解釈性を向上させた。
• ラベル付きデータセットを 80%（8,448 件）の訓練用と 20%（2,112 件）の開発用に分割し、モデルの訓練とハイパーパramータチューニングに使用した。
• 予測結果を CL-Aff 共同タスクを通じて提出した。ホールドアウトテストセット（17,215 件）を用いて、精度、AUC、F1スコアの指標でモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、自然言語による幸せの表現において、行動の原因（自己起因・他者起因・状況起因）という認知的評価要因を効果的に分類できるか？
• RQ2 テキスト的手がかりを用いて、幸せな瞬間に他者が関与しているかを正確に予測できるか？
• RQ3 ELMo や CoVe といった文脈的単語埋め込みと、ファインチューニングされた言語モデル（ULMFiT）は、従来の機械学習手法に比べて、行動の原因と社会性の予測において優れているか？
• RQ4 深層学習モデルにおける注意機構は、予測に寄与する言語的意味を持つ語をどの程度効果的に特定できるか？ これにより、モデルの解釈性はどの程度向上するか？
• RQ5 行動の原因と社会性を分類する際、モデルはどのような言語的特徴に注目するか？ その注目点は、心理学的期待と一致しているか？

主な発見

• 自己注意機構を備えた双方向LSTMに ELMo 埋め込みを組み合わせた最良のモデルが、行動分類タスクで 87.97% の精度を達成した。
• 社会性予測においても、同じモデルが 93.13% の精度を達成し、すべてのベースラインおよび従来の機械学習モデルを著しく上回った。
• ELMo を用いたモデルが ULMFiT ファインチューニングモデルを上回ったことから、このタスクにおいては、LSTMアーキテクチャ内の注意機構の重要性が、事前学習戦略の重要性を上回ることが示唆された。
• 注意の可視化により、モデルが意味的に関連する語に注目していることが明らかになった。例えば、行動分類では「my（私の）」「with（～と一緒に）」「co-workers（同僚）」、社会性分類では「daughter（娘）」「family（家族）」「friends（友人）」に注目していた。
• 肯定的ラベルの上位に注目された語は、心理的構造と整合的であった。たとえば「told（話した）」「came（来た）」といった社会的動詞や「son（息子）」「members（メンバー）」といった集団を指す語が顕著に注目された。これは、モデルの予測が人間の直感と一致していることを示している。
• 注意に基づく可視化により、モデルが2つの評価要因について意味的で解釈可能な表現を学習していることが示された。これにより、モデルの透明性と心理的妥当性が裏付けられた。