[論文レビュー] Text-based depression detection on sparse data

Heinrich Dinkel, Mengyue Wu+1 more|arXiv (Cornell University)|Apr 8, 2019

Mental Health via Writing参考文献 50被引用数 27

ひとこと要約

本論文は、スパースな臨床データにおけるテキストベースのうつ病検出のため、事前学習済みの文レベル埋め込みを用いたマルチタスクBGRUモデルを提案する。二重に予測することで、DAIC-WOZ開発セットにおいてマクロF1スコア0.84およびMAE 3.48を達成し、文レベル埋め込みとマルチタスク学習が低リソースの臨床テキストにおいて顕著に性能向上をもたらすことを示した。

ABSTRACT

Previous text-based depression detection is commonly based on large user-generated data. Sparse scenarios like clinical conversations are less investigated. This work proposes a text-based multi-task BGRU network with pretrained word embeddings to model patients' responses during clinical interviews. Our main approach uses a novel multi-task loss function, aiming at modeling both depression severity and binary health state. We independently investigate word- and sentence-level word-embeddings as well as the use of large-data pretraining for depression detection. To strengthen our findings, we report mean-averaged results for a multitude of independent runs on sparse data. First, we show that pretraining is helpful for word-level text-based depression detection. Second, our results demonstrate that sentence-level word-embeddings should be mostly preferred over word-level ones. While the choice of pooling function is less crucial, mean and attention pooling should be preferred over last-timestep pooling. Our method outputs depression presence results as well as predicted severity score, culminating a macro F1 score of 0.84 and MAE of 3.48 on the DAIC-WOZ development set.

研究の動機と目的

• ユーザー生成データが乏しい低リソースの臨床環境におけるテキストベースのうつ病検出の改善を目的とする。
• 大規模で関連のないコーパスでの事前学習が、スパースな臨床テキストにおける性能向上に寄与するかを調査すること。
• うつ病検出における単語レベル埋め込みと文レベル埋め込みの有効性を比較すること。
• さまざまな埋め込みタイプと組み合わせた際の、さまざまなプーリング関数の性能を評価すること。
• 二値のうつ病状態とPHQ-8重症度スコアを同時に予測する、耐障害性の高いマルチタスク学習フレームワークの開発

提案手法

• 二値のうつ病状態とPHQ-8重症度スコアを同時に予測するため、アテンション機構を備えたマルチタスクBGRUアーキテクチャを採用する。
• 限られたデータにおける表現学習の向上を図るため、事前学習済みの単語および文レベル埋め込み（Word2Vec、fastText、ELMo、BERT）を活用する。
• 安定的かつ信頼性の高い性能推定を確保するため、5分割交差検証に繰り返し実行を組み合わせる。
• 二値クロスエントロピーと平均絶対誤差を組み合わせた新しいマルチタスク損失関数を採用し、共同最適化を実現する。
• シーケンス表現の集約に最適な手法を特定するため、平均、最大、タイム、アテンションの4つのプーリング戦略を評価する。
• 小さなデータセットにおけるクラス不均衡の是正と過学習の低減を図るため、データバランス技術を実装する。

実験結果

リサーチクエスチョン

• RQ1 大規模で関連のないコーパスでの事前学習が、スパースな臨床テキストにおけるうつ病検出性能を向上させるか？
• RQ2 文レベル埋め込みは単語レベル埋め込みよりも臨床的うつ病検出において優れているか？
• RQ3 異なる埋め込みタイプと組み合わせた場合、プーリング関数（平均、最大、タイム、アテンション）のうちどれが最も優れた性能を示すか？
• RQ4 二値のうつ病状態と重症度スコアを同時に予測するマルチタスク学習フレームワークは、単一タスクのベースラインを上回る性能を示せるか？
• RQ5 この低データ環境下で、文脈に依存しない埋め込み（例：Word2Vec）と文脈に依存する埋め込み（例：BERT、ELMo）は、どのように比較されるか？

主な発見

• 大規模コーパスでの事前学習は、スパースなデータにおける単語レベルのテキストベースのうつ病検出性能を顕著に向上させる。
• 文レベル埋め込みは単語レベル埋め込みを常に上回り、最高のマクロF1スコアは0.84に達した。
• 平均プーリングとアテンションプーリングは最後のタイムステッププーリングを上回ったが、最大プーリングは同等の性能を示した。
• 提案されたマルチタスクモデルは、DAIC-WOZ開発セットでマクロF1 0.84およびMAE 3.48を達成し、先行手法を上回った。
• ELMoとBERTベースのモデルは、それぞれMAE 3.78および3.48を達成し、特にBERTが最も優れた回帰性能を示した。
• データが限られ、文脈的表現が欠如しているため、Doc2Vecは著しく性能が低かった。