[論文レビュー] Data Augmentation for Mental Health Classification on Social Media

Gunjan Ansari, Muskan Garg+1 more|arXiv (Cornell University)|Dec 19, 2021

Mental Health via Writing被引用数 15

ひとこと要約

本稿では、ソーシャルメディアにおけるメンタルヘルス分類のデータスパarsity問題に対処するため、EDA、条件付きBERT（AugBERT）、およびバックトランスレーション（AugBT）を用いたデータ拡張を提案する。AugBERTが複数の分類器およびデータセットにおいてF1スコアと精度を顕著に向上させ、DreadditおよびSDCNLデータセットの両方で統計的有意性（p < 0.05）を示した。これにより、低リソースなメンタルヘルスNLPタスクにおいてデータ拡張が実用的であることが立証された。

ABSTRACT

The mental disorder of online users is determined using social media posts. The major challenge in this domain is to avail the ethical clearance for using the user generated text on social media platforms. Academic re searchers identified the problem of insufficient and unlabeled data for mental health classification. To handle this issue, we have studied the effect of data augmentation techniques on domain specific user generated text for mental health classification. Among the existing well established data augmentation techniques, we have identified Easy Data Augmentation (EDA), conditional BERT, and Back Translation (BT) as the potential techniques for generating additional text to improve the performance of classifiers. Further, three different classifiers Random Forest (RF), Support Vector Machine (SVM) and Logistic Regression (LR) are employed for analyzing the impact of data augmentation on two publicly available social media datasets. The experiments mental results show significant improvements in classifiers performance when trained on the augmented data.

研究の動機と目的

• 倫理的制約およびラベル付けの制約により、ソーシャルメディアにおけるメンタルヘルス分類のデータスパarsity問題に対処する。
• ドメイン特化したメンタルヘルステキスト分類におけるデータ拡張技術の実現可能性と影響を調査する。
• 公開されたソーシャルメディアデータセットにおけるルールベースおよび事前学習モデルベースの拡張手法の有効性を評価する。
• 拡張データが複数のモデル（RF、SVM、LR）および埋め込み手法（D2V、TF-IDF）において分類器の性能を向上させるかどうかを検証する。
• データの多様性および拡張手法による性能向上の統計的有意性を評価する。

提案手法

• 合成されたメンタルヘルス関連テキストを生成するために、Easy Data Augmentation（EDA）、条件付きBERT（AugBERT）、およびバックトランスレーション（AugBT）の3つのデータ拡張技術を適用する。
• ラベルの意味を保持しつつテキストの多様性を高めるために、ランダム挿入、削除、交換、置換を用いたルールベースのEDAを実装する。
• ファインチューニング済みBERTモデル（条件付きBERT）を活用し、文脈的に適切でラベルを保持する拡張文を生成する。
• 元のテキストをターゲット言語に翻訳し、元の言語に再翻訳することでバックトランスレーションを実行し、意味を保持する。
• D2Vec（D2V）およびTF-IDF埋め込みを用いて、オリジナルデータおよび拡張データ上で3つの分類器（ランダムフォレスト（RF）、SVM、ロジスティック回帰（LR））を訓練・評価する。
• オリジナルテキストと拡張テキスト間のn-gram重複度を比較するために、BLEUスコア（n=2）を用いてデータの多様性を測定する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張技術は、ソーシャルメディアにおけるメンタルヘルス分類のデータスパarsity問題を効果的に軽減できるか？
• RQ2 EDA、AugBERT、AugBTといった異なる拡張手法は、メンタルヘルステキスト分類の性能向上にどのように寄与するか？
• RQ3 拡張データを用いた場合、どの分類器と埋め込み手法の組み合わせが最も高い性能を示すか？
• RQ4 データ拡張は、特に低リソースなメンタルヘルスNLP環境において、精度およびF1スコアをどの程度向上させるか？
• RQ5 複数のデータセットおよび分類器において、データ拡張による性能向上は統計的に有意であるか？

主な発見

• AugBERTは、ロジスティック回帰を用いたDreadditデータセットで、オリジナルデータ比で5.5%のF1スコア向上を達成した。
• t検定による統計的有意性の確認結果、DreadditにおけるAugBERTのp値は0.00033、SDCNLにおけるp値は0.09241であり、5%および10%水準で有意な向上が確認された。
• AugBERTはEDAおよびBTよりもより多様なデータを生成し、DreadditおよびSDCNLにおけるBLEUスコアはそれぞれ0.82および0.97であり、n-gramの多様性が高まっていることを示した。
• D2Vec埋め込みを用いたロジスティック回帰が、拡張手法全体において最も一貫した改善を示した。特にAugBERTを用いた場合に顕著な向上が見られた。
• AugBERTは、F1および精度の両面でEDAおよびバックトランスレーションを上回り、特にSDCNLデータセットではロジスティック回帰を用いて4.1%のF1スコア向上を達成した。
• 本研究では、AugBTに有意な改善効果は認められず、Dreadditのp値は0.23568、SDCNLのp値は0.40338であった。これは、この文脈においては限られた有用性であることを示唆している。