[論文レビュー] Characterizing Diseases from Unstructured Text: A Vocabulary Driven Word2vec Approach

Saurav Ghosh, Prithwish Chakraborty+3 more|arXiv (Cornell University)|Mar 1, 2016

Topic Modeling参考文献 21被引用数 10

ひとこと要約

本稿では、分野特化した知識を統合することで、非構造化の健康関連ニュースにおける疾患の特徴付けを向上させる、語彙駆動型のword2vecモデルであるDis2Vecを提案する。疾患関連語彙を活用することで、Dis2Vecは標準的なword2vec手法に比べ、分類的属性（特に症状、感染経路、感染方法）をよりよく捉えることができ、新興疾患ではほぼ完璧な正確性を達成し、広範な疾患分類（流行性・エンドミック・希少疾患）において優れた性能を示した。

ABSTRACT

Traditional disease surveillance can be augmented with a wide variety of real-time sources such as, news and social media. However, these sources are in general unstructured and, construction of surveillance tools such as taxonomical correlations and trace mapping involves considerable human supervision. In this paper, we motivate a disease vocabulary driven word2vec model (Dis2Vec) to model diseases and constituent attributes as word embeddings from the HealthMap news corpus. We use these word embeddings to automatically create disease taxonomies and evaluate our model against corresponding human annotated taxonomies. We compare our model accuracies against several state-of-the art word2vec methods. Our results demonstrate that Dis2Vec outperforms traditional distributed vector representations in its ability to faithfully capture taxonomical attributes across different class of diseases such as endemic, emerging and rare.

研究の動機と目的

• 疾患監視のような極めて特化した分野において、標準的な自己教師ありword2vecが意味的な関係を捉えきれないという限界を是正すること。
• 疾患固有の語彙（分野特化語彙）を単語埋め込み学習に統合する手法を開発し、疾患属性の意味的表現を向上させること。
• 非構造化ニュースコーパスから自動的に疾患分類体系を生成し、人間によるアノテーション済み分類体系と照合して評価すること。
• 新興・エンドミック・希少疾患といった多様な疾患クラスにおいて、症状・感染経路・方法・露出要因といった主要な特徴付けタスクにおけるモデルの性能を評価すること。

提案手法

• Dis2Vecは、事前に指定された疾患関連語彙集合 $\mathcal{V}$ を用いて単語埋め込みの学習を誘導・監視する、変更を加えたskip-gram word2vecモデルである。
• モデルは、HealthMapニュースコーパスを用いて学習し、疾患属性の意味的関連性を高めるために、分野特化語を文脈として使用する。
• 単語埋め込みはネガティブサンプリングを用いて学習され、語彙 $\mathcal{V}$ がトレーニング中に関連する意味的関係を制約および優先するように使用される。
• モデルは、人間によるアノテーション済みゴールドスタンダードを用いて、4つの疾患特徴付けタスク（症状、感染経路、感染方法、露出）で評価される。
• 各疾患クラスおよびタスクに対して最適なハイパーパrameterを設定した3つのベースラインword2vecモデル（SGNS、SGHS、標準skip-gram）と性能を比較する。
• Dis2Vecは、階層的ソフトマックスまたはネガティブサンプリングを用いてskip-gram目的関数を最適化し、ネガティブサンプリングプロセス中に語彙制約を適用する。

実験結果

リサーチクエスチョン

• RQ1 語彙駆動型word2vecモデルは、標準的な自己教師ありword2vecと比較して、非構造化の健康関連ニュースにおける疾患属性の意味的表現を向上させることができるか？
• RQ2 Dis2Vecは、新興・エンドミック・希少疾患といった異なる疾患クラスにおいて、主要な分類的特徴付けタスクでどのように性能を発揮するか？
• RQ3 分野特化語彙を統合することで、症状や感染経路の方法といった人間によるアノテーション済み疾患特徴を回復する能力が、どの程度向上するか？
• RQ4 なぜDis2Vecは、理解が浅く、多様な属性が頻繁に報じられる新興疾患において、ベースラインモデルを上回る性能を発揮するのか？

主な発見

• Dis2Vecは、すべての疾患特徴付けタスクにおいて最高の全体的な正確性を達成し、特に新興疾患の症状・感染経路・感染方法の特定で顕著な優位性を示した。
• H7N9などの新興疾患では、Dis2Vecは人間によるアノテーション済みのすべての症状（発熱、せき、肺炎）と感染経路の露出（動物への接触、農家、屠殺）を正しく特定したが、SGNSは発熱のみを抽出したにとどまった。
• 希少疾患（例：ペスト）の分類では、Dis2Vecはすべての主要な症状（痛み、発熱、頭痛）を捉え、感染経路をベクター媒介感染として正しく分類したのに対し、SGNSはこれらの用語の多くを回復できなかった。
• 18の疾患クラス/タスクの組み合わせのうち14で、Dis2Vecはベースラインモデルを上回った。特に、すべての疾患タイプにおいて症状特徴付けの分野で最も大きな向上が見られた。
• モデルの性能は、供給された分野知識の量に最も敏感であり、語彙カバレッジが豊富な分類（例：症状）ではより顕著な向上が見られた。
• エンドミック疾患では、Dis2Vecは症状および感染経路の方法の特定においても高い性能を維持したが、報道メディアにおける多様な報道が少ないため、新興疾患に比べて向上幅は控えめであった。