[論文レビュー] Hashtag Healthcare: From Tweets to Mental Health Journals Using Deep Transfer Learning

Benjamin Shickel, Martin Heesacker+2 more|arXiv (Cornell University)|Aug 4, 2017

Mental Health via Writing参考文献 30被引用数 8

ひとこと要約

本論文では、公的Twitterデータ上で訓練された感情の価値予測モデルを、プライベートなメンタルヘルス日記に転送する深層転送学習の使用を提案している。これは、小規模でプライバシー制約のあるデータセットであるにもかかわらず、ソーシャルメディアデータがメンタルヘルスセンチメント分析の精度と頑健性を顕著に向上させられることを示している。主な結果として、Twitterからメンタルヘルス日記への転送学習が、誤差を最大25％まで低減することが確認され、感情言語における公的表現と私的表現の間には小さな意味的ギャップがあることが示された。

ABSTRACT

As the popularity of social media platforms continues to rise, an ever-increasing amount of human communication and self- expression takes place online. Most recent research has focused on mining social media for public user opinion about external entities such as product reviews or sentiment towards political news. However, less attention has been paid to analyzing users' internalized thoughts and emotions from a mental health perspective. In this paper, we quantify the semantic difference between public Tweets and private mental health journals used in online cognitive behavioral therapy. We will use deep transfer learning techniques for analyzing the semantic gap between the two domains. We show that for the task of emotional valence prediction, social media can be successfully harnessed to create more accurate, robust, and personalized mental health models. Our results suggest that the semantic gap between public and private self-expression is small, and that utilizing the abundance of available social media is one way to overcome the small sample sizes of mental health data, which are commonly limited by availability and privacy concerns.

研究の動機と目的

• ラベル付きメンタルヘルスデータの不足を解消するため、公開済みのソーシャルメディアテキストを活用して訓練を行う。
• 公的ソーシャルメディア言語が、プライベートなメンタルヘルス日記分析に効果的に転送可能かどうかを調査する。
• 転送学習を用いて、認知行動療法における感情の価値予測の精度とパーソナライズ化を向上させる。
• 公的自己表現（Twitter）と私的メンタルヘルス日記の間の意味的類似性を評価する。
• オンラインメンタルヘルス療法プラットフォームにおけるリアルタイムフィードバックを可能にするスケーラブルで自動化されたツールを開発する。

提案手法

• 感情の価値がアノテートされた大規模なTwitterデータセットで事前学習された深層ニューラルネットワークを、メンタルヘルス日記エントリの分類に微調整する。
• ソーシャルメディアドメインからメンタルヘルスドメインへ、学習済みの単語表現と文脈的埋め込みを転送するための転送学習を用いる。
• 4つの価値カテゴリ（肯定的、否定的、両方、いずれでもない）を想定したマルチクラス分類フレームワークを採用する。
• 注目メカニズムを用いてモデルの予測を解釈し、日記エントリ内の顕著な感情的キーワードを同定する。
• 交差エントロピー損失とAdam最適化を用いてモデルを訓練し、過学習を防ぐために早期停止を適用する。
• 未観測のメンタルヘルステストセットを用いて、F1-macroおよび重み付きF1スコアで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層転送学習は、公的ソーシャルメディアと私的メンタルヘルス日記の間の意味的ギャップを効果的に埋め合わせることができるか？
• RQ2 Twitterデータで事前学習することで、メンタルヘルス日記における価値予測の精度がどの程度向上するか？
• RQ3 注目メカニズムは、メンタルヘルスナラティブにおける感情的に顕著な語をどのように特定するか？
• RQ4 公的表現と私的表現の間の意味的類似性は、メンタルヘルスアプリケーションにおける転送学習を正当化するのに十分か？
• RQ5 転送学習モデルは、患者のナラティブにおける時間的変化を微細に検出できるか？

主な発見

• Twitterからメンタルヘルス日記への転送学習により、限られたメンタルヘルスデータで訓練を始めた場合と比較して、誤差率が最大25％まで低減された。
• 最も優れたモデルは、メンタルヘルステストセットで重み付きF1スコア0.78を達成し、優れた一般化性能を示した。
• 不安、心配、苦痛に関連する語が最も高い注目重みを示し、モデルが臨床的に関連する感情的キューに焦点を当てていることを確認した。
• モデルは、患者のナラティブにおける感情の変動や改善のパターンを効果的に特定でき、臨床的フィードバック用途に適していることを示した。
• 公的表現と私的表現の間の意味的ギャップは小さく、価値予測のための効果的な転送学習を可能にする。
• 注目メカニズムにより、'心配している'、'不安'、'ストレス'、'圧倒されている'といった語が一貫して否定的価値予測と関連していることが明らかになった。