[論文レビュー] A Novel Sentiment Analysis Engine for Preliminary Depression Status Estimation on Social Media

Sudhir Kumar Suman, Hrithwik Shalu+3 more|arXiv (Cornell University)|Nov 29, 2020

Mental Health via Writing参考文献 17被引用数 10

ひとこと要約

本論文は、ユーザーのツイートを動的に更新されるラベル付き感情の基準コーパスと照合することで、Twitter上での抑うつ的言語を検出するクラウドベースのスマートフォンアプリケーションを提案する。RoBERTaベースのシamese文分類器を用い、テスト精度87.23%、AUC 0.8621を達成し、従来の分類手法とは異なり、意味的類似性照合に基づくことで、予備的な抑うつ状態推定においても高い性能を示した。

ABSTRACT

Text sentiment analysis for preliminary depression status estimation of users on social media is a widely exercised and feasible method, However, the immense variety of users accessing the social media websites and their ample mix of vocabularies makes it difficult for commonly applied deep learning-based classifiers to perform. To add to the situation, the lack of adaptability of traditional supervised machine learning could hurt at many levels. We propose a cloud-based smartphone application, with a deep learning-based backend to primarily perform depression detection on Twitter social media. The backend model consists of a RoBERTa based siamese sentence classifier that compares a given tweet (Query) with a labeled set of tweets with known sentiment ( Standard Corpus ). The standard corpus is varied over time with expert opinion so as to improve the model's reliability. A psychologist ( with the patient's permission ) could leverage the application to assess the patient's depression status prior to counseling, which provides better insight into the mental health status of a patient. In addition, to the same, the psychologist could be referred to cases of similar characteristics, which could in turn help in more effective treatment. We evaluate our backend model after fine-tuning it on a publicly available dataset. The find tuned model is made to predict depression on a large set of tweet samples with random noise factors. The model achieved pinnacle results, with a testing accuracy of 87.23% and an AUC of 0.8621.

研究の動機と目的

• 従来のNLPモデルが言語的多様性に対応できず、柔軟性に欠ける中で、ソーシャルメディア利用者における抑うつ状態を検出する課題に対処すること。
• 心理療法の前段階で、心理学者がリアルタイムのソーシャルメディア分析を用いて患者の精神的健康状態を評価できるようにすることで、早期抑うつ検出を改善すること。
• 過去にラベル付けされた事例との類似性に基づいて患者を優先順位付けできる仕組みを提供することで、メンタルヘルスケアの効率を高めること。
• ファインチューニングされたトランスフォーマーモデルを用いた、スケーラブルでクラウドベースのモバイルアプリケーションの開発

提案手法

• ユーザーのツイート（クエリ）と、既知の感情ラベルが付与されたツイートの標準コーパスとの間で、意味的類似性を計算するためにRoBERTaベースのシamese文エンコーダーが使用される。
• モデルは、二値ラベル（ポジティブ／ネガティブ）が付与された公開のTwitter感情データセットでファインチューニングされ、ホールドアウトされたテストセットで厳密に評価される。
• 意味的検索アルゴリズムが、潜在的埋め込み空間におけるコサイン類似度に基づき、標準コーパスから最も類似したツイートを取得する。
• 標準コーパスは、専門家による検証済みのラベルを定期的に追加することで、時間経過に伴いモデルの信頼性と適応性を向上させる。
• ロバートアからのトランスファー学習を活用することで、非公式なソーシャルメディア言語における繊細な言語的パターンを捉える。
• 推論パイプラインは、綴りの修正を行わず、元の未処理のツイートを処理し、言語的多様性を保持したまま類似度スコアを計算する。

実験結果

リサーチクエスチョン

• RQ1 言語的ばらつきが存在する中で、シamese文埋め込みモデルは、ソーシャルメディアのテキストにおいて抑うつ的感情を効果的に検出できるか？
• RQ2 意味的比較に基づくアプローチの性能は、抑うつ状態の検出において、従来の教師あり分類手法と比べてどのように異なるか？
• RQ3 動的で専門家が検証済みの標準コーパスは、抑うつ検出モデルの信頼性と適応性をどの程度向上できるか？
• RQ4 心理学者が類似した抑うつ的プロファイルを持つ患者を特定し、より効果的な治療計画を立てるために、モデルが臨床ワークフローを支援できるか？

主な発見

• 95%信頼区間±0.1855を伴うテスト精度87.23%を達成し、高い正確性と安定性を示した。
• AUC 0.8621を達成し、抑うつ的でない言語とを効果的に区別する強力な識別性能を示した。
• 最も類似度の高い抑うつ的ツイートはコサイン類似度0.7431を示し、ポジティブ感情コーパスの平均類似度（0.1138）よりも顕著に高く、感情クラスの効果的な分離が確認された。
• 推論段階で綴りの修正を一切行わなかったにもかかわらず、ノイズや非公式な言語に対して堅牢であることが確認された。
• 複数のテストケースにおいて、抑うつ的クエリとポジティブコーパスとの間の意味的類似度ギャップが一貫して大きく、モデルが微細な感情的兆候を検出できる能力が裏付けられた。
• 類似した言語的・感情的プロファイルを持つ症例を特定することで、スケーラブルかつリアルタイムの患者トリアージが可能となり、精神保健サービスの効率的配分を支援する。