[論文レビュー] Benchmarking for Public Health Surveillance tasks on Social Media with a Domain-Specific Pretrained Language Model

Usman Naseem, Byoung Chan Lee+3 more|arXiv (Cornell University)|Apr 9, 2022

Topic Modeling被引用数 5

ひとこと要約

この論文では、公衆衛生監視（PHS）タスクの性能を向上させるために、健康関連のソーシャルメディアテキストで微調整されたドメイン特化型事前学習言語モデル、PHS-BERTを紹介する。多様なプラットフォームからのユーザ生成コンテンツで訓練されたPHS-BERTは、7つのPHSタスクにまたがる25のデータセットにおいて、最先端の性能を達成し、自殺的思考の分類において一般および生物医学分野のPLMと比較して最大18.45%の向上、全タスクの平均では11.82%の向上を示した。

ABSTRACT

A user-generated text on social media enables health workers to keep track of information, identify possible outbreaks, forecast disease trends, monitor emergency cases, and ascertain disease awareness and response to official health correspondence. This exchange of health information on social media has been regarded as an attempt to enhance public health surveillance (PHS). Despite its potential, the technology is still in its early stages and is not ready for widespread application. Advancements in pretrained language models (PLMs) have facilitated the development of several domain-specific PLMs and a variety of downstream applications. However, there are no PLMs for social media tasks involving PHS. We present and release PHS-BERT, a transformer-based PLM, to identify tasks related to public health surveillance on social media. We compared and benchmarked the performance of PHS-BERT on 25 datasets from different social medial platforms related to 7 different PHS tasks. Compared with existing PLMs that are mainly evaluated on limited tasks, PHS-BERT achieved state-of-the-art performance on all 25 tested datasets, showing that our PLM is robust and generalizable in the common PHS tasks. By making PHS-BERT available, we aim to facilitate the community to reduce the computational cost and introduce new baselines for future works across various PHS-related tasks.

研究の動機と目的

• ソーシャルメディアにおける公衆衛生監視（PHS）タスクのドメイン特化型事前学習言語モデル（PLM）の不足に対処すること。
• ソーシャルメディアプラットフォームの健康関連ユーザ生成コンテンツに特化して訓練された、強固で汎用性の高いPLMの開発。
• 提案モデルの性能を多様なPHSタスクおよびデータセットでベンチマーク化し、既存の最先端モデル（SOTA）を上回ることを検証すること。
• 計算コストを低減し、今後のPHS関連NLPタスクにおける研究の新基準を確立するために、PHS-BERTを公開すること。

提案手法

• 複数のプラットフォームから収集した、大規模かつキュレートされた健康関連ソーシャルメディアテキストのコーパスを用いて、トランスフォーマー型BERTモデルを事前学習する。
• 7つの異なるPHSタスク（抑うつ症状の検出、ワクチンの感情分析、疾病の流行監視など）にまたがる25の多様な下流分類データセットに対して、事前学習済みのPHS-BERTモデルを微調整する。
• 各タスクで最適な性能を達成するために、標準的なNLP微調整プロトコル（交差エントロピー損失と早期停止）を採用する。
• 全25のデータセットにおいて、BERT、BioBERT、BERTweet、CT-BERT、MentalBERTなど複数のSOTA PLMと比較し、PHS-BERTの性能を評価する。
• 一貫性と信頼性の高いベンチマークを確保するため、F1スコア、適合率、再現率、正解率といった標準化された評価指標を用いる。
• 再現可能性とコミュニティの採用を促進するため、Hugging Faceにトレーニング済みのPHS-BERTモデルを公開する。

実験結果

リサーチクエスチョン

• RQ1 健康関連のソーシャルメディアテキストで訓練されたドメイン特化型PLMは、一般および生物医学分野のPLMを上回り、公衆衛生監視タスクで優れた性能を示せるか？
• RQ2 PHS-BERTは、抑うつ症状の検出、ワクチンの感情分析、流行監視など、多様なソーシャルメディアプラットフォームおよびPHSタスクにわたって、どれほど汎用性を示せるか？
• RQ3 複数のデータセットおよびタスクにおいて、既存のSOTAモデル（BERT、CT-BERT、BioBERTなど）と比較して、PHS-BERTの性能向上はどの程度か？
• RQ4 一般または生物医学分野の事前学習と比較して、ドメイン特化型ソーシャルメディアデータでの事前学習が、下流分類タスクの性能向上にどの程度寄与するか？
• RQ5 急性（例：流行）および慢性（例：メンタルヘルス）の両方の条件を含む、さまざまな種類のPHSタスクにおいて、PHS-BERTは優れた性能を維持できるか？

主な発見

• PHS-BERTは、7つの異なる公衆衛生監視タスクにまたがる全25のテストデータセットで最先端の性能を達成し、その強固さと汎用性を示した。
• 自殺的思考分類タスクでは、BERTと比較してF1スコアが18.45%向上し、2番目に優れたモデルと比較しても12.79%向上した。
• 抑うつ症状検出タスクでは、BERTと比較して平均でF1スコアが6.03%向上し、2番目に優れたモデルと比較しても2.76%向上した。
• ワクチン感情分析タスクでは、すべてのベースラインを上回り、BERTと比較して平均でF1スコアが7.70%向上し、2番目に優れたモデルと比較しても0.34%向上した。
• 全タスクの平均では、BERTと比較してF1スコアが11.82%高く、2番目に優れたモデルと比較しても4.71%向上した。
• CT-BERT や MentalBERT といったドメイン特化モデルと比較して、PHS-BERTは複数のタスクで顕著な優位性を示しており、目的に特化した健康指向のソーシャルメディアコーパスで学習することで利点が得られることを示している。