[論文レビュー] Applying deep learning techniques on medical corpora from the World Wide Web: a prototypical system and evaluation

José Antonio Miñarro-Giménez, Oscar Marín-Alonso+1 more|arXiv (Cornell University)|Feb 12, 2015

Biomedical Text Mining and Ontologies参考文献 7被引用数 16

ひとこと要約

本研究では、NDF-RTオントロジーをゴールドスタンダードとして用い、非構造化されたウェブベースの医療テキストから医薬品関係を抽出するためのword2vecの有効性を評価している。効率的なベクトル学習が可能であるものの、'治療可能性あり'や'生理的効果を有する'などの関係を特定する際の正確度は49.28%にとどまり、自動知識ベース構築には限界があることが示されたが、キュレーションの出発点としての潜在的可能性は示している。

ABSTRACT

BACKGROUND: The amount of biomedical literature is rapidly growing and it is becoming increasingly difficult to keep manually curated knowledge bases and ontologies up-to-date. In this study we applied the word2vec deep learning toolkit to medical corpora to test its potential for identifying relationships from unstructured text. We evaluated the efficiency of word2vec in identifying properties of pharmaceuticals based on mid-sized, unstructured medical text corpora available on the web. Properties included relationships to diseases ('may treat') or physiological processes ('has physiological effect'). We compared the relationships identified by word2vec with manually curated information from the National Drug File - Reference Terminology (NDF-RT) ontology as a gold standard. RESULTS: Our results revealed a maximum accuracy of 49.28% which suggests a limited ability of word2vec to capture linguistic regularities on the collected medical corpora compared with other published results. We were able to document the influence of different parameter settings on result accuracy and found and unexpected trade-off between ranking quality and accuracy. Pre-processing corpora to reduce syntactic variability proved to be a good strategy for increasing the utility of the trained vector models. CONCLUSIONS: Word2vec is a very efficient implementation for computing vector representations and for its ability to identify relationships in textual data without any prior domain knowledge. We found that the ranking and retrieved results generated by word2vec were not of sufficient quality for automatic population of knowledge bases and ontologies, but could serve as a starting point for further manual curation.

研究の動機と目的

• 非構造化されたウェブテキストからバイオメディカル関係を抽出するためのディープラーニング、特にword2vecの実用可能性を評価すること。
• 中規模の実世界の医療コーパスから、薬物-疾患および薬物-生理的効果関係を識別する際のword2vecの性能を評価すること。
• NDF-RTオントロジーからの手動でキュレートされたゴールドスタンダードデータと比較して、word2vecが生成する関係を評価すること。
• 前処理およびハイパーパrameterチューニングがモデルの正確度およびランク付け品質に与える影響を調査すること。
• word2vecの出力が、医療知識ベースの自動キュレーションの基盤として実用的かどうかを特定すること。

提案手法

• 研究者たちは、世界中のウェブから収集した非構造化医療テキストコーパスにword2vecモデルを適用した。
• '治療可能性あり'や'生理的効果を有する'といった関係は、学習済み埋め込み空間内のベクトル類似度を用いて同定された。
• モデルの性能は、NDF-RTオントロジーをゴールドスタンダードとして、予測された関係と照合することで評価された。
• 文法的ばらつきを低減するための正規化を含む前処理戦略が、モデルの有用性向上を目的として適用された。
• ベクトルサイズ、ウィンドウサイズ、学習率といったハイパーパrameterを系統的に変更し、正確度およびランク付けへの影響を評価した。
• コサイン類似度に基づくアプローチを用いて関連する薬物語群ペアを抽出し、精度を評価するための順位付けが行われた。

実験結果

リサーチクエスチョン

• RQ1 word2vecは、非構造化された医療ウェブテキストから薬物-疾患および薬物-生理的効果関係を効果的に同定できるか？
• RQ2 word2vecフレームワークにおける異なるハイパーパrameter設定によって、モデルの正確度はどのように変化するか？
• RQ3 文法的前処理は、学習済みベクトル表現の品質およびその後続の関係抽出にどのような影響を与えるか？
• RQ4 word2vecベースの関係抽出において、ランク付けの品質と正確度の間にトレードオフが生じるか？
• RQ5 word2vecの出力は、医療知識ベースおよびオントロジーの自動構築にどの程度活用可能か？

主な発見

• word2vecが薬物関係を同定する際の最大正確度は49.28%にとどまり、このタスクに対しては限定的な有効性であることが示された。
• ランク付けの品質と正確度の間に顕著なトレードオフが観察され、上位にランク付けされた結果が必ずしも正確とは限らないことが明らかになった。
• 文法的ばらつきを低減するためのコーパス前処理が、訓練済みベクトルモデルの有用性を顕著に向上させた。
• 結果から、word2vec単体では医療知識ベースの信頼性ある自動キュレーションには不十分であることが示唆された。
• 正確度が低くても、事前にドメイン知識を必要とせずにベクトル表現を生成する点で、word2vecは効率的なツールである。
• 本研究は、word2vecの出力が、その後続の手動キュレーション作業の出発点として有用である可能性を確認した。