[論文レビュー] Knowledge-Based Biomedical Word Sense Disambiguation with Neural Concept Embeddings and Distant Supervision.

A. K. M. Sabbir, Antonio Jimeno Yepes+1 more|arXiv (Cornell University)|Oct 26, 2016

Topic Modeling参考文献 40被引用数 8

ひとこと要約

本稿では、メタマップを用いてラベルなしデータから概念ベクトルを抽出するニューラルコンセプト埋め込みと遠隔教師付き学習を組み合わせた知識ベースのバイオメディカル語の意味統一（WSD）手法を提案する。MSH WSDデータセットで92.24%の精度を達成し、従来の知識ベースまたは非教師あり手法よりも3%高い。これは、ラベルなしテキストからの表現学習が、バイオメディスン分野において教師あり手法と同等の性能を発揮できることを示している。

ABSTRACT

Biomedical word sense disambiguation (WSD) is an important intermediate task in many natural language processing applications such as named entity recognition, syntactic parsing, and relation extraction. In this paper, we employ knowledge-based approaches that also exploit recent advances in neural word/concept embeddings to improve over the state-of-the-art in biomedical WSD using the MSH WSD dataset as the test set. Our methods involve distant supervision - we do not use any hand-labeled examples for WSD to build our prediction models; however, we employ an existing well known named entity recognition and concept mapping program, MetaMap, to obtain our concept vectors. Over the MSH WSD dataset, our linear time (in terms of numbers of senses and words in the test instance) method achieves an accuracy of 92.24% which is an absolute 3% improvement over the best known results obtained via unsupervised or knowledge-based means. A more expensive approach that we developed relies on a nearest neighbor framework and achieves an accuracy of 94.34%. Employing dense vector representations learned from unlabeled free text has been shown to benefit many language processing tasks recently and our efforts show that biomedical WSD is no exception to this trend. For a complex and rapidly evolving domain such as biomedicine, building labeled datasets for larger sets of ambiguous terms may be impractical. Here we demonstrate that distant supervision that leverages recent advances in representation learning can rival supervised approaches in biomedical WSD.

研究の動機と目的

• ニューラルコンセプト埋め込みを用いて知識ベースの手法を強化することで、バイオメディカル語の意味統一（WSD）の性能を向上させること。
• バイオメディスン分野では大規模なラベル付きデータセットの作成が現実的でないことを踏まえ、手動ラベリングを回避すること。
• 事前学習済みの概念表現を用いた遠隔教師付き学習が、教師ありWSD手法と同等またはそれを上回る性能を発揮するかどうかを評価すること。
• ラベルなしバイオメディカルテキストから得られる密なベクトル表現が、WSDの精度向上にどの程度寄与するかを実証すること。

提案手法

• メタマップを用いてバイオメディカル用語をUMLSの概念にマッピングし、各曖昧語に該当する概念ベクトルを生成する。
• 大規模なラベルなしバイオメディカルテキストからニューラルコンセプト埋め込みを学習し、概念間の意味的関係を捉える。
• 遠隔教師付き学習として、各曖昧語に関連する最も頻出するUMLS概念を代理ラベルとして用いる。
• コンテキストベクトルと概念埋め込みのコサイン類似度に基づいて、線形時間で意味スコアを計算するアルゴリズムを採用する。
• より計算コストの高い近隣探索フレームワークも実装し、k個の最近傍概念ベクトルを用いて正しい意味を予測する。
• 手動ラベル付きWSD例を一切使用せず、既存の名前付きエンティティ認識および概念マッピングツールに依存する。

実験結果

リサーチクエスチョン

• RQ1 手動ラベル付き学習データに依存せずに、ニューラルコンセプト埋め込みがバイオメディカルWSDを改善できるか？
• RQ2 メタマップから得られる概念マッピングを用いた遠隔教師付き学習は、バイオメディスン分野における教師ありまたは非教師ありWSD手法と比べてどのように性能を発揮するか？
• RQ3 複雑で変化し続ける分野、例えばバイオメディスンにおいて、ラベルなしテキストからの密な表現がWSD性能をどの程度向上できるか？
• RQ4 概念類似度に基づく線形時間処理手法は、より複雑な近隣探索アプローチに比べ、精度と効率の両面で優れているか？

主な発見

• 線形時間手法はMSH WSDデータセットで92.24%の精度を達成し、最も優れた従来の知識ベースまたは非教師あり手法よりも3%の絶対的向上を示した。
• 近隣探索ベースのアプローチは94.34%の高い精度を達成し、より洗練された類似度モデリングの利点を示した。
• 結果から、ラベルなしテキストからの表現学習が、まったくラベルなし例が存在しない状況でもWSD性能を顕著に向上させられると示された。
• メタマップを介した遠隔教師付き学習により、最小限の人的ラベル付けで高品質なWSDが可能となり、大規模なバイオメディカル語彙へのスケーラビリティが実現された。
• 本研究では、教師あり手法と同等の性能を発揮する高効果な密なニューラルコンセプト埋め込みが、バイオメディカルWSDに非常に有効であることが確認された。