[論文レビュー] Hierarchical Attention Network for Explainable Depression Detection on Twitter Aided by Metaphor Concept Mappings

Sooji Han, Rui Mao+1 more|arXiv (Cornell University)|Sep 15, 2022

Mental Health via Writing被引用数 20

ひとこと要約

本論文は、Twitter上のうつ病検出のための説明可能な階層的注意ネットワーク（HAN）を提案し、性能と解釈性を向上させるためにメタファー概念マッピング（MCMs）を活用する。公的なMDLデータセットで最先端の結果を達成し、予測に対する注意機構ベースの説明を提供する。

ABSTRACT

Automatic depression detection on Twitter can help individuals privately and conveniently understand their mental health status in the early stages before seeing mental health professionals. Most existing black-box-like deep learning methods for depression detection largely focused on improving classification performance. However, explaining model decisions is imperative in health research because decision-making can often be high-stakes and life-and-death. Reliable automatic diagnosis of mental health problems including depression should be supported by credible explanations justifying models' predictions. In this work, we propose a novel explainable model for depression detection on Twitter. It comprises a novel encoder combining hierarchical attention mechanisms and feed-forward neural networks. To support psycholinguistic studies, our model leverages metaphorical concept mappings as input. Thus, it not only detects depressed individuals, but also identifies features of such users' tweets and associated metaphor concept mappings.

研究の動機と目的

• ソーシャルメディア上での自動的なプライベートなうつ病スクリーニングを動機づけ、健康文脈での解釈可能なモデルを要求する一方で介入の初期化を支援する。
• 各ユーザーに対して文脈レベルの注意を用いた説明可能なエンコーダを導入し、重要なツイートとメタファー mappings (MCMs) を特定する。
• うつ病検出パイプラインに MCM 特徴を組み込み、性能と認知的洞察を向上させる。
• MDLうつ病データセットで強力なベースラインと比較してモデルを評価し、注意の可視化を通じて説明可能性を分析する。

提案手法

• BERT-base-uncased でツイートと MCMs を埋め込み、T0 および C0 の埋め込みを得る。
• 新規の二ストリーム階層的注意エンコーダ（HAN）を用いて層を超えてツイートと MCM の表現を反復的に洗練する（v_i^t, T_i および v_i^c, C_i）。
• 最終的なツイートと MCM の表現を結合し、一連のフィードフォワードネットワークを通してクラス確率を生成する。
• ツイートから MCM 特徴を生成するために、MI（メタファー同定）、MP（メタファー言い換え）、CG（概念マッピング生成）を介して Metaphor Concept Mappings（MCMs）を組み込む。
• うつ病状態と非うつ病状態を予測するためにクロスエントロピー損失でトレーニングする。
• ツイートと MCM に対する注意重みを検査することにより定性的な説明可能性を提供する。

実験結果

リサーチクエスチョン

• RQ1 文脈レベルの注意ベースのエンコーダは Twitter データから解釈可能なうつ病予測を提供できるか？
• RQ2 メタファー概念マッピング（MCMs）は補完的な情報を提供し、うつ病検出の性能と解釈性を向上させるか？
• RQ3 HAN エンコーダは精度とパラメータ効率の点で古典的なエンコーダ（LSTM、GRU、Transformer 系）と比較してどうか？
• RQ4 MCM 特徴の導入はデータ分割やデータセット全体でモデルの性能にどのような影響を与えるか？

主な発見

Model	P	R	F1	Acc.
Gui et al. (2019)	0.900	0.901	0.900	0.900
Lin et al. (2020)	0.903	0.870	0.886	0.884
Zogan et al. (2021)	0.909	0.904	0.912	0.901
HAN Avg D1-D5	0.975	0.969	0.972	0.971
D1	0.981	0.965	0.973	0.973
D2	0.988	0.956	0.972	0.971
D3	0.972	0.972	0.972	0.971
D4	0.968	0.970	0.969	0.968
D5	0.064	0.981	0.972	0.971

• 提案された HAN モデルは MDL データセットで最先端の性能を達成し、平均 F1 は 0.972、精度は 0.971、5 分割で達成。
• HAN は最強のベースライン（Zogan ら, 2021）を F1 で平均 6.0%、精度で平均 7.0% 上回る。
• アブレーション研究では MCM が追加情報を提供し、MDL で HAN-MCM は HAN より 1.1%F1、IMDL では 1.9% 低下、MCM は明示的なうつ病サインが除去された場合にも有効であることを示す。
• 2 層の HAN エンコーダは最良の F1 を出し、他の構成と同等かそれ以上の性能を示しつつ LSTM/GRU ベースラインよりパラメータ数が少ない。
• 注意の可視化により、予測されたうつ病ステータスにとって最も影響力のあるツイートと MCM を強調することで説明可能性をデモンストレーション。
• データを五つの異なる乱択データセットで検証してもモデルは堅牢であり、安定した性能を示す。