[논문 리뷰] Graph-Based Retriever Captures the Long Tail of Biomedical Knowledge

Julien Delile, S. Mukherjee외 2명|arXiv (Cornell University)|2024. 02. 19.

Biomedical Text Mining and Ontologies인용 수 5

한 줄 요약

이 논문은 생의학 분야에서 Retrieval-Augmented Generation(RAG)을 위한 지식 그래프 기반 검색(KG IR) 접근법을 제시하고, 임베딩 기반 검색보다 롱테일 지식을 더 잘 포착하며 하이브리드 모델에서 임베딩과도 잘 결합된다는 것을 보인다.

ABSTRACT

Large language models (LLMs) are transforming the way information is retrieved with vast amounts of knowledge being summarized and presented via natural language conversations. Yet, LLMs are prone to highlight the most frequently seen pieces of information from the training set and to neglect the rare ones. In the field of biomedical research, latest discoveries are key to academic and industrial actors and are obscured by the abundance of an ever-increasing literature corpus (the information overload problem). Surfacing new associations between biomedical entities, e.g., drugs, genes, diseases, with LLMs becomes a challenge of capturing the long-tail knowledge of the biomedical scientific production. To overcome this challenge, Retrieval Augmented Generation (RAG) has been proposed to alleviate some of the shortcomings of LLMs by augmenting the prompts with context retrieved from external datasets. RAG methods typically select the context via maximum similarity search over text embeddings. In this study, we show that RAG methods leave out a significant proportion of relevant information due to clusters of over-represented concepts in the biomedical literature. We introduce a novel information-retrieval method that leverages a knowledge graph to downsample these clusters and mitigate the information overload problem. Its retrieval performance is about twice better than embedding similarity alternatives on both precision and recall. Finally, we demonstrate that both embedding similarity and knowledge graph retrieval methods can be advantageously combined into a hybrid model that outperforms both, enabling potential improvements to biomedical question-answering models.

연구 동기 및 목표

• 생의학 문헌에서 정보 과부하 문제를 제기하고 생의학 QA/QS를 위해 롱테일 지식을 표면화할 필요성을 제시한다.
• 생의학 지식 그래프를 사용해 검색된 청크를 재균형화하는 그래프 기반 검색 방법을 도입한다.
• KG IR이 임베딩 유사도 IR보다 우수하다는 것을 입증하고, KG+임베딩 하이브리드 접근이 더 우수한 결과를 산출함을 보인다.
• 최근성(발행 연도)과 영향력(인용 수)을 활용해 KG 경로를 따라 텍스트 청크의 우선순위를 매겨 최근의 영향력 있는 발견을 표면화하는 방식을 보인다.

제안 방법

• 문장 임베딩 및 PubMed 문장에 대한 코사인 유사도를 사용하는 임베딩 유사도 IR(ES IR) 두 가지 검색 전략을 개발한다.
• PubMed 초록의 NER/RE 처리로 생의학 KG를 구성한다(NER에 KAZU + TinyBERN2, RE에 BioRED에 대해 미세조정된 PubMedBERT).
• 엔터티 주석과 관계에 의해 텍스트 청크를 KG 노드/에지에 매핑하고, 질의 엔터티 간의 최단 경로를 사용해 관련 청크를 선택한다.
• 최근성(발행 연도)과 영향력(인용 수)에 대한 Pareto 프런트 순위를 사용해 검색된 청크의 우선순위를 매긴다.
• ES IR과 KG IR에서 재스케일링된 점수를 평균하여 하이브드 IR을 평가해 강점을 결합한다.
• 전문가가 주석한 금표 집합과 대조하여 8개 질환에 대한 precision@K 및 recall@K로 검색 성능을 비교한다.

실험 결과

연구 질문

• RQ1 KG 기반 IR이 임베딩 기반 IR가 놓치는 독특한 롱테일의 생의학 지식을 검색하는가?
• RQ2 목표 질의를 위한 정밀도/재현율 면에서 KG IR은 임베딩 IR과 어떻게 비교되는가?
• RQ3 하이브리드 KG+임베딩 검색이 각 방법 단독보다 우수한가?
• RQ4 KG를 통한 재균형화(최근성+영향력 Pareto)가 최근의 영향력 있는 문서 발견을 개선하는가?

주요 결과

• KG IR이 ES IR보다 대상 생의학 질문에 대해 질의에 대한 정밀도@K와 재현율@K에서 우수하다.
• KG IR은 ES IR보다 더 넓고 다양한 문서를 검색하며(롱테일), 더 뚜렷한 클러스터와 더 넓은 그래프 기반 검색 영역으로 입증된다.
• 작은 K에서 ES IR + KG IR 하이브드 접근법이 우수한 성능을 보이고, K가 커져도 여전히 이점이 있다.
• EmbeddingIR은 데이터 불균형으로 인해 근처 질의 영역을 과샘플링하는 경향이 있는 반면, KG IR은 그래프 구조와 최근성/영향력 우선순위를 통해 데이터를 균형 있게 조정한다.
• KG와 임베딩 신호를 결합하면 초기 검색 단계(K<100)에서 각 방법 단독보다 명확한 향상을 보인다.