[논문 리뷰] MeSH Suggester: A Library and System for MeSH Term Suggestion for Systematic Review Boolean Query Construction

Shuai Wang, Hang Li외 1명|arXiv (Cornell University)|2022. 12. 18.

Biomedical Text Mining and Ontologies참고 문헌 23인용 수 17

한 줄 요약

이 논문은 시스템적 문헌 고찰을 위한 부울 쿼리에 대해 어휘적(예: ATM, MetaMap) 및 신경망 기반 방법(예: Atomic-BERT, Fragment-BERT, Semantic-BERT)을 사용하여 MeSH 어휘어 제안을 제공하는 파이썬 라이브러리이자 웹 시스템인 MeSH Suggester를 소개한다. 이 시스템은 미세조정된 밀도 검색 모델을 활용하여 쿼리의 효과성을 향상시키며, CLEF 2017 및 2018 데이터셋에서 신경망 기반 방법이 어휘 기반 기준보다 뛰어난 성능을 보이며 최대 F1 점수 0.0690을 기록한다.

ABSTRACT

Boolean query construction is often critical for medical systematic review literature search. To create an effective Boolean query, systematic review researchers typically spend weeks coming up with effective query terms and combinations. One challenge to creating an effective systematic review Boolean query is the selection of effective MeSH Terms to include in the query. In our previous work, we created neural MeSH term suggestion methods and compared them to state-of-the-art MeSH term suggestion methods. We found neural MeSH term suggestion methods to be highly effective. In this demonstration, we build upon our previous work by creating (1) a Web-based MeSH term suggestion prototype system that allows users to obtain suggestions from a number of underlying methods and (2) a Python library that implements ours and others' MeSH term suggestion methods and that is aimed at researchers who want to further investigate, create or deploy such type of methods. We describe the architecture of the web-based system and how to use it for the MeSH term suggestion task. For the Python library, we describe how the library can be used for advancing further research and experimentation, and we validate the results of the methods contained in the library on standard datasets. Our web-based prototype system is available at http://ielab-mesh-suggest.uqcloud.net, while our Python library is at https://github.com/ielab/meshsuggestlib.

연구 동기 및 목표

• 시스템적 문헌 고찰 부울 쿼리에 적절한 MeSH 어휘어를 선택하는 데 있어 시간이 많이 소요되고 전문 지식이 필요하다는 과제를 해결하기 위해.
• 기존 및 신규 MeSH 어휘어 제안 방법을 모두 지원하는 재사용 가능하고 확장 가능한 라이브러리 및 웹 시스템을 개발하기 위해.
• 표준 기준 데이터셋을 사용하여 신경망 기반 및 어휘 기반 방법의 효과성을 검증하기 위해.
• 의료 문헌 검색에서 MeSH 어휘어 제안 기법을 실험하고 구현하는 데 있어 연구자들이 접근하기 쉬운 장벽을 낮추기 위해.

제안 방법

• 시스템은 여섯 가지 MeSH 어휘어 제안 방법을 구현한다: 세 가지 어휘 기반(ATH, MetaMap, UMLS)과 세 가지 신경망 기반(Atomic-BERT, Fragment-BERT, Semantic-BERT).
• 신경망 기반 방법은 키워드와 MeSH 어휘어를 임bedding하는 데 사용되는 미세조정된 듀얼 인코더 모델을 사용하여 밀도 벡터 유사도 기반 순위 매기기를 가능하게 한다.
• Fragment-BERT는 개별 키워드 임베딩에 대해 정규화된 CombSUM 랭크 융합을 적용하는 반면, Semantic-BERT는 word2vec을 사용해 유사한 키워드를 그룹화한 후 융합한다.
• 웹 시스템은 API와 상호작용 가능한 프론트엔드를 제공하여 사용자가 자유형 텍스트 쿼리를 입력하면 어떤 방법을 사용해도 MeSH 어휘어 제안을 받을 수 있도록 한다.
• 파이썬 라이브러리는 모델 추론, 표준 평가 지표(P, R, F1)를 사용한 평가, CLEF 2017 및 2018 등의 데이터셋과의 통합을 지원한다.
• 라이브러리는 확장 가능하며, 연구자들은 NeuralSuggest 클래스에 커스텀 검색 함수를 정의하여 새로운 방법을 구현할 수 있다.

실험 결과

연구 질문

• RQ1 신경망 기반 MeSH 어휘어 제안 방법이 기존의 어휘 기반 방법(예: ATM, MetaMap)보다 시스템적 문헌 고찰 쿼리 구성에서 효과적으로 작동할 수 있는가?
• RQ2 다양한 신경망 아키텍처(예: Atomic-BERT 대비 Semantic-BERT)는 표준 MeSH 어휘어 제안 기준 테스트에서 정밀도, 재현도 및 F1 측면에서 어떻게 비교되는가?
• RQ3 통합된 파이썬 라이브러리와 웹 인터페이스가 MeSH 어휘어 제안 방법의 개발, 평가 및 배포를 얼마나 효과적으로 단순화할 수 있는가?
• RQ4 정보 전문가가 직접 작성한 원본 쿼리와 비교해 볼 때 MeSH 어휘어 제안 방법의 성능는 어떠한가?
• RQ5 연구자들이 새로운 모델이나 평가 설정을 쉽게 통합할 수 있도록 시스템이 확장 가능한가?

주요 결과

• 신경망 기반 방법 중 Fragment-BERT가 CLEF 2018 데이터셋에서 F1 점수 0.0690을 기록하여 모든 어휘 기반 기준보다 뛰어난 성능을 보였다.
• Semantic-BERT는 CLEF 2018에서 F1 점수 0.0526을 기록하여 키워드를 사전에 의미적으로 그룹화하는 데서 유의미한 이점이 있음을 입증했다.
• 최고 성능을 보인 신경망 기반 방법인 Fragment-BERT는 CLEF 2018에서 정밀도 0.0388과 재현도 0.8034를 기록하여 강력한 검색 효과성을 보였다.
• 모든 신경망 기반 방법이 원본 쿼리(F1 = 0.0415, CLEF 2018 기준)와 비교해 유사하거나 더 뛰어난 F1 점수를 기록하여 자동화된 방법임에도 불구하고 뛰어난 성능을 보였다.
• 라이브러리와 웹 시스템는 기능적으로 완전히 작동하며 확장 가능하며, 모델 체크포인트 전환 및 새로운 평가 데이터셋 통합 기능을 지원한다.
• ir_measures를 기반으로 구축된 시스템의 평가 파이프라인은 재현 가능한 벤치마킹을 가능하게 하며 향후 신규 방법 개발을 지원한다.