[論文レビュー] Designing Domain Specific Word Embeddings: Applications to Disease Surveillance.

Saurav Ghosh, Prithwish Chakraborty+3 more|arXiv (Cornell University)|Mar 1, 2016

Data-Driven Disease Surveillance被引用数 3

ひとこと要約

本稿では、HealthMapニュースコーパスを用いた疾患監視を目的としたドメイン特化型word2vecモデルであるDis2Vecを紹介する。疾患および属性の埋め込みを学習することで、標準的なword2vec手法に比べ、正確な疾患分類体系の構築および発生予測において優れた性能を示し、疾患関連の意味的特徴をより忠実に捉えることを実証した。

ABSTRACT

Traditional disease surveillance can be augmented with a wide variety of realtime sources such as news and social media. However, these sources are in general unstructured and construction of surveillance tools such as taxonomical correlations and trace mapping involves considerable human supervision. In this paper, we motivate a disease vocabulary driven word2vec model (Dis2Vec) which we use to model diseases and constituent attributes as word embeddings from the HealthMap news corpus. We use these word embeddings to create disease taxonomies and evaluate our model accuracy against human annotated taxonomies. We compare our accuracies against several state-of-the art word2vec methods. Our results demonstrate that Dis2Vec outperforms traditional distributed vector representations in its ability to faithfully capture disease attributes and accurately forecast outbreaks.

研究の動機と目的

• 非構造化テキストからの疾患分類体系の自動構築により、疾患監視における人的監視の負担を軽減すること。
• 一般的な単語埋め込みが、疾患の微細な属性や関係性を捉えることの限界を是正すること。
• 疾患語彙に基づく単語埋め込みモデルを構築し、発生予測および意味的モデリングの精度を向上させること。
• モデルの性能を人為アノテート済み分類体系および最先端のword2vec手法と比較して評価すること。

提案手法

• 疾患関連語とその属性に焦点を当て、HealthMapニュースコーパス上でカスタムword2vecモデル（Dis2Vec）を学習すること。
• 疾患中心の語彙を用いてskip-gramアーキテクチャをガイドすることで、疾患固有の意味的特徴の表現を向上させること。
• 症状、感染経路、病原体など、疾患とその属性との関係を符号化する密なベクトル表現（単語埋め込み）を学習すること。
• 学習された埋め込みを応用し、ベクトル類似度とクラスタリングを用いて階層的疾患分類体系を構築すること。
• モデルが生成した構造をゴールスタンダードとしての人的アノテート済み分類体系と比較することで、分類体系の正確性を評価すること。
• 分類体系構築および発生予測タスクにおいて、Dis2Vecの性能を複数の最先端word2vec変種とベンチマーク比較すること。

実験結果

リサーチクエスチョン

• RQ1 一般的な単語埋め込みに比べ、疾患特化型word2vecモデルは、人為アノテート済みゴールスタンダードに一致する疾患分類体系の構築において、正確性を向上させることができるか？
• RQ2 学習された埋め込みによって、症状、原因微生物、感染経路といった疾患属性は、どの程度正確に捉えられるか？
• RQ3 標準的なword2vecおよび他の最先端手法と比較して、Dis2Vecは発生予測においてどの程度の性能を示すか？
• RQ4 word2vec学習にドメイン特化語彙を組み込むことで、公衆衛生監視に向けたより意味的忠実な表現が得られるか？

主な発見

• Dis2Vecは、人為アノテート済みゴールスタンダードに一致する疾患分類体系の構築において、標準的なword2vecモデルを顕著に上回る性能を示した。
• ベクトル類似度解析を通じて、病原体タイプや感染メカニズムといった疾患属性の捉え込み能力が向上していることが示された。
• より意味的意味を持つ埋め込みを活用することで、Dis2Vecは発生予測の正確性を高めた。
• 学習段階で疾患中心語彙を用いることで、一般コーパスに比べ、より忠実で実用的価値の高い表現が得られた。