[논문 리뷰] Doc2Vec on the PubMed corpus: study of a new approach to generate related articles

Emeric Dynomant, Stéfan Darmoni외 6명|arXiv (Cornell University)|2019. 11. 26.

Topic Modeling참고 문헌 18인용 수 7

한 줄 요약

이 연구는 PubMed의 통계적 PubMed 관련 기사(pmra) 모델의 대체로 Doc2Vec, 특히 PV-DBOW 아키텍처를 평가한다. PubMed 개요에서 여섯 개의 초모수를 최적화하기 위해 그리드 서치를 사용하여 사전 색인 없이 문서 임베딩을 학습하고, pmra와 유사한 MeSH 기반 유사도를 달성한다—비록 인간 평가에서 낮은 인식 정확도가 드러나 모델의 해석 가능성과 평가자 간 이견에 대한 추가 연구가 필요하다는 점에서.

ABSTRACT

PubMed is the biggest and most used bibliographic database worldwide, hosting more than 26M biomedical publications. One of its useful features is the "similar articles" section, allowing the end-user to find scientific articles linked to the consulted document in term of context. The aim of this study is to analyze whether it is possible to replace the statistic model PubMed Related Articles (pmra) with a document embedding method. Doc2Vec algorithm was used to train models allowing to vectorize documents. Six of its parameters were optimised by following a grid-search strategy to train more than 1,900 models. Parameters combination leading to the best accuracy was used to train models on abstracts from the PubMed database. Four evaluations tasks were defined to determine what does or does not influence the proximity between documents for both Doc2Vec and pmra. The two different Doc2Vec architectures have different abilities to link documents about a common context. The terminological indexing, words and stems contents of linked documents are highly similar between pmra and Doc2Vec PV-DBOW architecture. These algorithms are also more likely to bring closer documents having a similar size. In contrary, the manual evaluation shows much better results for the pmra algorithm. While the pmra algorithm links documents by explicitly using terminological indexing in its formula, Doc2Vec does not need a prior indexing. It can infer relations between documents sharing a similar indexing, without any knowledge about them, particularly regarding the PV-DBOW architecture. In contrary, the human evaluation, without any clear agreement between evaluators, implies future studies to better understand this difference between PV-DBOW and pmra algorithm.

연구 동기 및 목표

• 수동 MeSH 색인에 의존하지 않고 PubMed의 pmra 모델을 대체할 수 있는 Doc2Vec의 가능성을 조사하기 위해.
• 문서 길이, 단어 내용, 전문 용어 유사도가 Doc2Vec 및 pmra 양쪽의 유사도 점수에 어떤 영향을 미치는지 평가하기 위해.
• 자동 및 수동 평가 방법을 사용하여 Doc2Vec PV-DBOW 및 PV-DM의 성능을 pmra와 비교 평가하기 위해.
• 자동 MeSH 기반 평가와 수동 인간 평가 간의 괴리, 즉 관련 기사의 관련성에 대한 인식 차이를 이해하기 위해.

제안 방법

• 여섯 개의 초모수를 최적화하기 위해 그리드 서치를 사용하여 1,900개 이상의 Doc2Vec 모델을 PubMed 개요에서 훈련시켰다.
• PV-DBOW 및 PV-DM 아키텍처를 사용하여 문서 벡터를 생성하였으며, PV-DBOW는 문서 벡터만으로 단어를 예측한다.
• 모델 성능 평가를 위해 네 가지 작업을 수행: MeSH 테르마의 겹침, 단어/어간 유사도, 문서 길이 상관관계, 수동 관련성 평가.
• 추상문이 전체 텍스트 내용을 의미한다고 가정하여 MeSH 테르마 겹침을 기반으로 모델 파라미터를 최적화하였다.
• 각 모델이 반환한 상위 10개의 관련 기사에 대해 네 명의 평가자가 수동 평가를 수행하였다.
• Doc2Vec의 코사인 유사도 점수를 MeSH 테르마와 엘리트 토픽 빈도를 통합한 pmra의 통계적 점수와 비교하였다.

실험 결과

연구 질문

• RQ1 Doc2Vec PV-DBOW는 수동 MeSH 색인 없이도 PubMed의 pmra 모델과 유사한 성능을 내며 관련 생물의학 기사를 식별할 수 있는가?
• RQ2 문서 길이, 공통 단어, 공통 어간이 Doc2Vec 및 pmra 양쪽의 유사도 점수에 어떤 영향을 미치는가?
• RQ3 PV-DBOW 아키텍처는 pmra에 비해 MeSH 기반 의미 유사도를 어느 정도 잘 포착하는가?
• RQ4 자동 MeSH 기반 평가와 유사한 성능을 보였음에도 불구하고, 수동 평가에서 Doc2Vec PV-DBOW는 pmra에 비해 상당히 낮은 인식 정확도를 보였던 이유는 무엇인가?

주요 결과

• Doc2Vec의 PV-DBOW 아키텍처는 수동 색인 없이도 pmra와 유사한 MeSH 기반 유사도를 달성하여 의미 관계가 사전 색인 없이도 학습될 수 있음을 보여주었다.
• Doc2Vec PV-DBOW는 MeSH 테르마 겹침과 강한 상관관계를 보였으며, pmra와 마찬가지로 유사한 크기의 문서를 더 잘 그룹화하는 경향이 있었다.
• 수동 평가 결과, pmra가 Doc2Vec PV-DBOW를 압도적으로 뛰어넘었으며, pmra의 평균 순위는 7위였고 PV-DBOW는 14위였다.
• 수동 평가에서 평가자 간 일치도는 중간 수준에 머물러 있어 공감대가 낮고 이 분야에서 인간 평가의 신뢰성에 대한 우려를 제기했다.
• 수동 색인 없이도 Doc2Vec PV-DBOW는 요약문과 제목만으로도 문서 간 관계를 성공적으로 추론하여 의미적 학습의 강력함을 보여주었다.
• 자동 MeSH 기반 평가와 인간 판단 간 괴리 현상이 드러나 평가 방법론과 모델의 해석 가능성에 대한 추가 연구가 필요하다고 강조했다.