[논문 리뷰] Archive of PubTator 3.0 source code and trained models

Chih-Hsuan Wei, Alexis Allot외 8명|PubMed|2024. 01. 19.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

PubTator 3.0은 최신 자연어 처리(NLP) 모델을 활용한 인공지능 기반 생물의학 문헌 자료로서, 3600만 개의 PubMed 초록과 600만 개의 PMC 전문 기사에 걸쳐 10억 개 이상의 실체 및 관계 주석을 제공한다. 이는 PubMed나 Google Scholar보다 정밀도와 재현율이 높은 고도화된 의미론적 및 관계 기반 검색을 가능하게 하며, GPT-4와 같은 대규모 언어 모델과 통합되어 응답의 사실성과 검증 가능성을 향상시킨다.

ABSTRACT

PubTator 3.0 (https://www.ncbi.nlm.nih.gov/research/pubtator3/) is a biomedical literature resource using state-of-the-art AI techniques to offer semantic and relation searches for key concepts like proteins, genetic variants, diseases, and chemicals. It currently provides over one billion entity and relation annotations across approximately 36 million PubMed abstracts and 6 million full-text articles from the PMC open access subset, updated weekly. PubTator 3.0's online interface and API utilize these precomputed entity relations and synonyms to provide advanced search capabilities and enable large-scale analyses, streamlining many complex information needs. We showcase the retrieval quality of PubTator 3.0 using a series of entity pair queries, demonstrating that PubTator 3.0 retrieves a greater number of articles than either PubMed or Google Scholar, with higher precision in the top 20 results. We further show that integrating ChatGPT (GPT-4) with PubTator APIs dramatically improves the factuality and verifiability of its responses. In summary, PubTator 3.0 offers a comprehensive set of features and tools that allow researchers to navigate the ever-expanding wealth of biomedical literature, expediting research and unlocking valuable insights for scientific discovery.

연구 동기 및 목표

• 증가하는 생물의학 문헌의 복잡성에 대응하여 효율적이고 의미 인식 기반의 정보 검색을 가능하게 하기 위해.
• 과학 문헌 내 핵심 생물의학 실체와 그 관계를 자동으로 주석 처리하는 확장 가능한 인공지능 기반 시스템을 개발하기 위해.
• 기존의 키워드 기반 검색 시스템인 PubMed나 Google Scholar를 뛰어넘어 문헌 검색의 정밀도와 재현율을 향상시키기 위해.
• 대규모 언어 모델을 통합하여 생물의학적 맥락에서 AI가 생성한 응답의 사실성과 검증 가능성의 신뢰도를 높이기 위해.
• 연구자들이 생물의학 분야의 지식 발견을 가속화할 수 있도록 공개적이고 최신 상태이며 확장 가능한 자원을 제공하기 위해.

제안 방법

• 생물의학 텍스트 코퍼스에 맞춤형으로 튜닝된 최신 딥 러닝 모델을 활용하여 단백질, 질병, 화학물질, 유전자 변이 등 실체를 추출하고 분류한다.
• 신경망 기반 관계 추출 모델을 적용하여 주석 처리된 실체 간의 의미적 관계를 식별한다. 예를 들어 단백질-질병 또는 약물-화합물 상호작용과 같은 관계이다.
• 3600만 개의 PubMed 초록과 600만 개의 PMC 오픈 액세스 전문 기사로 구성된 광범위한 코퍼스 전반에 걸쳐 주석을 사전에 계산하고 색인화한다. 매주 업데이트된다.
• 의미론적 및 관계 기반 쿼리에 대해 실체의 동의어 및 정규화된 식별자를 사용할 수 있도록 온라인 인터페이스와 프로그래밍 가능한 API를 제공한다.
• GPT-4와의 API 통합을 통해 AI가 생성한 응답을 검증하고 개선함으로써 사실 일致성과 소스 문헌으로의 추적 가능성을 향상시킨다.
• 대규모 언어 모델의 사전 학습된 생물의학 텍스트 기반 전이 학습을 활용하여 최소한의 미세조정으로도 높은 성능을 달성한다.

실험 결과

연구 질문

• RQ1 AI 기반 시스템이 PubMed나 Google Scholar보다 생물의학 문헌 검색에서 더 높은 정밀도와 재현율을 달성할 수 있는가?
• RQ2 사전에 계산된 실체 및 관계 주석이 생물의학 문헌의 의미론적 검색 효율성과 정확도에 얼마나 기여하는가?
• RQ3 PubTator 3.0과 같은 정제된 지식 기반과 GPT-4와 같은 대규모 언어 모델을 통합함으로써 AI가 생성한 답변의 사실성과 검증 가능성은 어떻게 향상되는가?
• RQ4 확장 가능한 자동화된 시스템이 동적으로 업데이트되는 대규모 생물의학 문헌 코퍼스 전반에서 높은 품질의 주석을 유지할 수 있는가?
• RQ5 동의어 정규화와 실체 연결 기법이 복잡한 생물의학 쿼리에서 의미론적 검색의 효과성에 어떤 영향을 미치는가?

주요 결과

• PubTator 3.0는 실체 쌍 쿼리에 대해 PubMed나 Google Scholar보다 훨씬 더 관련성이 높은 논문을 검색하며, 상위 20개 결과에서 더 높은 정밀도를 기록한다.
• 3600만 개의 초록과 600만 개의 전문 기사에서 총 10억 개 이상의 실체 및 관계 주석을 달성하였다.
• GPT-4와 PubTator 3.0 API 통합은 독립적인 LLM 추론에 비해 더 사실에 기반하고 검증 가능한 응답을 생성한다.
• 사전 계산된 주석 덕분에 저지연, 확장 가능한 의미론적 검색이 가능하여 대규모 데이터 분석 및 지식 발견을 지원한다.
• 매주 업데이트되어 최신 생물의학 문헌에 대한 접근이 가능하며, 일관된 실체 및 관계 레이블링이 유지된다.
• 표준화된 실체 식별자와 동의어 매핑을 활용함으로써 문서 간 실체 연결 및 쿼리 해석의 정확도가 향상된다.