[論文レビュー] Doc2Vec on the PubMed corpus: study of a new approach to generate related articles

Emeric Dynomant, Stéfan Darmoni+6 more|arXiv (Cornell University)|Nov 26, 2019

Topic Modeling参考文献 18被引用数 7

ひとこと要約

本研究では、PubMedの統計的PubMed関連記事（pmra）モデルの代替として、特にPV-DBOWアーキテクチャを有するDoc2Vecの有効性を評価している。PubMedの要約文書に対して6つのハイパーパrameterをグリッドサーチで最適化することで、事前のインデキシングを必要とせずに文書埋め込みを学習し、pmraと同等のMeSHベースの類似度を達成した。ただし、人間による評価では、認識された正確性が低く、評価者間の合意のなさやモデルの解釈可能性に関するさらなる研究が求められることが示唆された。

ABSTRACT

PubMed is the biggest and most used bibliographic database worldwide, hosting more than 26M biomedical publications. One of its useful features is the "similar articles" section, allowing the end-user to find scientific articles linked to the consulted document in term of context. The aim of this study is to analyze whether it is possible to replace the statistic model PubMed Related Articles (pmra) with a document embedding method. Doc2Vec algorithm was used to train models allowing to vectorize documents. Six of its parameters were optimised by following a grid-search strategy to train more than 1,900 models. Parameters combination leading to the best accuracy was used to train models on abstracts from the PubMed database. Four evaluations tasks were defined to determine what does or does not influence the proximity between documents for both Doc2Vec and pmra. The two different Doc2Vec architectures have different abilities to link documents about a common context. The terminological indexing, words and stems contents of linked documents are highly similar between pmra and Doc2Vec PV-DBOW architecture. These algorithms are also more likely to bring closer documents having a similar size. In contrary, the manual evaluation shows much better results for the pmra algorithm. While the pmra algorithm links documents by explicitly using terminological indexing in its formula, Doc2Vec does not need a prior indexing. It can infer relations between documents sharing a similar indexing, without any knowledge about them, particularly regarding the PV-DBOW architecture. In contrary, the human evaluation, without any clear agreement between evaluators, implies future studies to better understand this difference between PV-DBOW and pmra algorithm.

研究の動機と目的

• 手動によるMeSHインデキシングに依存せずに、PubMedのpmraモデルに代わる関連記事を生成するためのDoc2Vecの有効性を調査すること。
• 文書長さ、語彙的コンテンツ、用語的類似度が、Doc2Vecおよびpmra両モデルの類似度スコアに与える影響を評価すること。
• 自動的および手動の評価手法を用いて、Doc2Vec PV-DBOWおよびPV-DMのpmraに対する性能を評価すること。
• 自動評価によるMeSHベースの評価と、手動による関連記事の関連性評価との間に生じる乖離を理解すること。

提案手法

• 6つのハイパーパrameterのグリッドサーチを用いて、1,900を超えるDoc2VecモデルをPubMedの要約文書上で学習し、性能を最適化した。
• PV-DBOWおよびPV-DMアーキテクチャを用いて文書ベクトルを生成し、PV-DBOWは文書ベクトルのみから単語を予測する。
• MeSH語の重複、語/語幹の類似度、文書長さの相関、手動関連性評価の4つのタスクを用いてモデルの性能を評価した。
• 要約文書が全文の内容を意味的に表していると仮定し、MeSH語の重複に基づいてモデルのパラメータを最適化した。
• 4名のアノテーターを用いて、各モデルが返す上位10件の関連記事の関連性を手動で評価した。
• Doc2Vecのコサイン類似度スコアと、MeSH語とエリートトピック頻度を組み合わせた統計的スコアを用いるpmraのスコアを比較した。

実験結果

リサーチクエスチョン

• RQ1 Doc2Vec PV-DBOWは、手動によるMeSHインデキシングを必要とせずに、PubMedのpmraモデルと同等の性能を発揮して関連する生物医学的記事を同定できるか？
• RQ2 文書長さ、共有語、共有語幹が、Doc2Vecおよびpmra両モデルの類似度スコアにどのように影響するか？
• RQ3 PV-DBOWアーキテクチャは、pmraと比較してどの程度MeSHベースの意味的類似度を捉えられるか？
• RQ4 MeSHベースの性能は同等であるにもかかわらず、なぜ手動評価ではDoc2Vec PV-DBOWの認識された正確性がpmraに比べて著しく低いのか？

主な発見

• Doc2VecのPV-DBOWアーキテクチャは、事前のインデキシングがなくてもpmraと同等のMeSHベースの類似度を達成した。これは、意味的関係が事前のインデキシングなしに学習可能であることを示している。
• Doc2Vec PV-DBOWはMeSH語の重複と強く相関しており、pmraと同様に類似したサイズの文書をよりよくグループ化する傾向を示した。
• 手動評価では、pmraがDoc2Vec PV-DBOWを上回り、pmraの平均順位は7位、PV-DBOWは14位であった。
• 手動評価における評価者間の合意はやや低い水準にとどまり、評価の信頼性に懸念が生じる状況であることが示された。
• 手動インデキシングがなくても、Doc2Vec PV-DBOWは要約文書とタイトルに基づいて文書間の関係を適切に推論でき、意味的学習の強靭性を示した。
• 自動評価によるMeSHベースの評価と人間の判断との間に乖離が生じており、評価手法およびモデルの解釈可能性に関するさらなる調査が求められることが本研究で示された。