[論文レビュー] InfyNLP at SMM4H Task 2: Stacked Ensemble of Shallow Convolutional Neural Networks for Identifying Personal Medication Intake from Twitter

Jasper Friedrichs, Debanjan Mahata+1 more|arXiv (Cornell University)|Mar 21, 2018

Sentiment Analysis and Opinion Mining参考文献 11被引用数 12

ひとこと要約

この論文では、SMM4H 2017 タスク2の共有課題で1位を獲得するため、ランダムなハイパーパrameter探索とモデルスタッキングを用いて、個人の薬物摂取を示すツイートを分類するための浅い畳み込みニューラルネットワーク（CNN）のスタックドアンサンブルを提示している。このアプローチは、ソーシャルメディアのテキストを用いたディープラーニングにより、自己報告された薬物使用の自動検出を可能にすることで、薬物疫学的監視を向上させる。

ABSTRACT

This paper describes Infosys's participation in the "2nd Social Media Mining for Health Applications Shared Task at AMIA, 2017, Task 2". Mining social media messages for health and drug related information has received significant interest in pharmacovigilance research. This task targets at developing automated classification models for identifying tweets containing descriptions of personal intake of medicines. Towards this objective we train a stacked ensemble of shallow convolutional neural network (CNN) models on an annotated dataset provided by the organizers. We use random search for tuning the hyper-parameters of the CNN and submit an ensemble of best models for the prediction task. Our system secured first place among 9 teams, with a micro-averaged F-score of 0.693.

研究の動機と目的

• ソーシャルメディア投稿、特にツイッターにおいて、個人の薬物摂取を自動で検出するためのシステムを開発すること。
• ノイズが多く、非形式的なソーシャルメディアのテキストにおいて、自己報告された薬物使用を特定する課題に取り組むこと。
• 患者が報告する薬物使用のスケーラブルでリアルタイムな監視を可能にすることで、薬物疫学的監視を向上させること。
• この特定の分類タスクにおいて、従来のNLP手法を上回る性能を発揮するため、ディープラーニングモデルを活用すること。
• アンサンブル学習とハイパーパrameterチューニングを通じて、モデルの性能を最適化すること。

提案手法

• 手動でアノテートされたツイートデータセットを用いて、浅い畳み込みニューラルネットワーク（CNN）のスタックドアンサンブルを学習した。
• アンサンブル内の各ベースモデルは、テキスト内の局所的なn-gramパターンを捉えるために、固定サイズのフィルタを備えた浅いCNNであった。
• ハイパーパrameterはランダムサーチを用いて最適化し、モデルの性能を向上させた。
• 最終的な予測は、最も高い性能を示した個々のCNNモデルの出力をスタッキングすることで生成された。
• 多様な予測を組み合わせることで、モデルのロバスト性と一般化性能が向上した。
• システムは、SMM4H 2017 タスク2データセットを用いて訓練および評価された。このデータセットには、個人の薬物摂取に関するアノテーションが付与されたツイートが含まれている。

実験結果

リサーチクエスチョン

• RQ1 浅いCNNのスタックドアンサンブルは、個人の薬物摂取を示すツイートを効果的に分類できるか？
• RQ2 このタスクにおいて、ランダムサーチによるハイパーパrameterチューニングは、個々のCNNモデルの性能にどのように影響するか？
• RQ3 このソーシャルメディアテキスト分類タスクにおいて、モデルスタッキングは個々のモデルよりも分類性能を向上させるか？
• RQ4 浅いCNNは、薬物疫学的応用において、ノイズが多く、非形式的なツイッターのテキストから関連する言語的パターンをどの程度捉えることができるか？
• RQ5 ディープラーニングアプローチを用いて、SMM4H 2017 タスク2ベンチマークでどの程度の性能が達成可能か？

主な発見

• システムは、SMM4H 2017 タスク2の共有評価において、参加9チーム中1位を獲得し、マイクロ平均F1スコア0.693を達成した。
• 浅いCNNのスタックドアンサンブルは、個々のモデルを上回る性能を示し、この文脈においてアンサンブル学習の有効性を実証した。
• ハイパーパrameterチューニングのためのランダムサーチは、CNNモデルの高パフォーマンスな設定を効果的に同定した。
• 浅いCNNは、薬物摂取検出のための非形式的でノイズの多いツイッター言語における関連する局所的テキストパターンを効果的に捉えることができた。
• テストセットにおいて強い一般化性能を示し、ソーシャルメディアのテキストにおけるノイズや多様性に対してロバストであることが示された。
• 結果から、特に浅いCNNを含むディープラーニングモデルが、ソーシャルメディアにおける自動薬物疫学的監視に実用的であることが確認された。