[論文レビュー] #phramacovigilance - Exploring Deep Learning Techniques for Identifying Mentions of Medication Intake from Twitter

Debanjan Mahata, Jasper Friedrichs+2 more|arXiv (Cornell University)|May 16, 2018

Misinformation and Its Impacts被引用数 9

ひとこと要約

本論文では、ランダムなハイパーパramータ探索と事前学習済み単語埋め込みを用いて、Twitter投稿における個人の薬物摂取を特定するための浅い畳み込みニューラルネットワーク（CNN）のスタックドアンサンブルを提案する。公開データセット上で最先端のマイクロ平均F1スコア0.693を達成し、個人摂取、可能性のある摂取、非摂取の各ツイートを分類する際、既存のモデルを上回る性能を発揮した。

ABSTRACT

Mining social media messages for health and drug related information has received significant interest in pharmacovigilance research. Social media sites (e.g., Twitter), have been used for monitoring drug abuse, adverse reactions of drug usage and analyzing expression of sentiments related to drugs. Most of these studies are based on aggregated results from a large population rather than specific sets of individuals. In order to conduct studies at an individual level or specific cohorts, identifying posts mentioning intake of medicine by the user is necessary. Towards this objective, we train different deep neural network classification models on a publicly available annotated dataset and study their performances on identifying mentions of personal intake of medicine in tweets. We also design and train a new architecture of a stacked ensemble of shallow convolutional neural network (CNN) ensembles. We use random search for tuning the hyperparameters of the models and share the details of the values taken by the hyperparameters for the best learnt model in different deep neural network architectures. Our system produces state-of-the-art results, with a micro- averaged F-score of 0.693.

研究の動機と目的

• ソーシャルメディア投稿における個人の薬物摂取を特定するための正確なテキスト分類システムの開発を目的とする。
• ノイズが多く不規則なTwitterのテキストにおいて、単なる言及と個人摂取を区別する課題に対処することを目的とする。
• ソーシャルメディアデータを用いた個別レベルまたはコhort特化型の健康監視を可能にすることで、薬物疫学的監視を向上させることを目的とする。
• 性能向上を図るための新しいスタックドアンサンブルの浅いCNNの設計および学習を目的とする。
• 再現可能性および今後の研究を促進するため、訓練済みモデルと最適なハイパーパramータを公開することを目的とする。

提案手法

• 公開されたTwitterデータセット上で、標準CNN、マルチチャネルCNN、BLSTM、およびCNN+BLSTMといった複数のディープニューラルネットワークアーキテクチャを訓練した。
• 分類性能の向上を図るために、浅いCNNアンサンブルのスタックドアンサンブルを設計した。
• 学習率、ドロップアウト、フィルターサイズ、フィルター数、埋め込みタイプの各パラメータについて、ランダムサーチを用いてハイパーパラメータチューニングを実施した。
• マルチチャネルモデルでは、Godin、Shin、GloVeの事前学習済み単語埋め込みを、異なるチャネルに異なる設定で使用した。
• 5分割交差検証を用いてモデルを最適化し、保留されたテストセットで評価した。
• バリデーションセットにおけるF1スコアに基づき、最も性能の良かったモデルを選択し、そのハイパーパラメータを詳細に報告した。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、短く不規則なTwitter投稿における個人の薬物摂取を効果的に分類できるか？
• RQ2 浅いCNNアンサンブルのスタックドアンサンブルは、個人の薬物言及を特定する際、標準的なディープラーニングアーキテクチャと比較してどのように異なるか？
• RQ3 この分類タスクにおいて最適なパフォーマンスを発揮するハイパーパラメータ設定は何か？
• RQ4 この低リソースでノイズの多いNLPタスクにおいて、ランダムサーチはハイパーパラメータチューニングに効果的か？
• RQ5 本研究で提案されたモデルは、SMM4H共有タスクにおける最先端のシステムと比較してどのように異なるか？

主な発見

• 提案された浅いCNNアンサンブルのスタックドアンサンブルは、マイクロ平均F1スコア0.693を達成し、テストされたすべての他のモデルを上回った。
• 最も性能の良かったモデルは、トレーニング時のF1+2スコア0.725およびテスト時のF1+2スコア0.693を達成した。
• ランダムサーチにより、高性能なハイパーパラメータ設定が効果的に特定された。最適な値として、学習率0.0001、ドロップアウト0.4〜0.9、フィルターサイズ[1,2,3,4,5]または[2,3,3,3,4]が得られた。
• Godin埋め込みとフィルターサイズ[1,2,3,4,5]を用いたマルチチャネルCNNは、テスト時のF1+2スコア0.6866を達成した。
• 本システムは、SMM4H共有タスクにおける他の最先端モデル、特にUKNLP（F1: 0.689）およびNRC-Canada（F1: 0.668）を上回った。
• 著者らは、再現可能性および今後の研究を促進するため、すべての訓練済みモデルと最良のハイパーパラメータ設定を公開した。