[論文レビュー] Graph-Based Retriever Captures the Long Tail of Biomedical Knowledge

Julien Delile, S. Mukherjee+2 more|arXiv (Cornell University)|Feb 19, 2024

Biomedical Text Mining and Ontologies被引用数 5

ひとこと要約

この論文は、バイオ医療における Retrieval-Augmented Generation のための知識グラフベースの検索（KG IR）アプローチを提示し、埋め込みベースの検索よりロングテール知識をより適切に把握できること、およびハイブリッドモデルで埋め込みと組み合わせると両手法より良好な性能を示す。

ABSTRACT

Large language models (LLMs) are transforming the way information is retrieved with vast amounts of knowledge being summarized and presented via natural language conversations. Yet, LLMs are prone to highlight the most frequently seen pieces of information from the training set and to neglect the rare ones. In the field of biomedical research, latest discoveries are key to academic and industrial actors and are obscured by the abundance of an ever-increasing literature corpus (the information overload problem). Surfacing new associations between biomedical entities, e.g., drugs, genes, diseases, with LLMs becomes a challenge of capturing the long-tail knowledge of the biomedical scientific production. To overcome this challenge, Retrieval Augmented Generation (RAG) has been proposed to alleviate some of the shortcomings of LLMs by augmenting the prompts with context retrieved from external datasets. RAG methods typically select the context via maximum similarity search over text embeddings. In this study, we show that RAG methods leave out a significant proportion of relevant information due to clusters of over-represented concepts in the biomedical literature. We introduce a novel information-retrieval method that leverages a knowledge graph to downsample these clusters and mitigate the information overload problem. Its retrieval performance is about twice better than embedding similarity alternatives on both precision and recall. Finally, we demonstrate that both embedding similarity and knowledge graph retrieval methods can be advantageously combined into a hybrid model that outperforms both, enabling potential improvements to biomedical question-answering models.

研究の動機と目的

• 生物医学文献の情報過多問題と生物医学QA/QSのために長尾知識を表面化する必要性を動機づける。
• 生物医学知識グラフを用いて retrieved chunks を再バランスするグラフベースの検索手法を導入する。
• KG IR が埋め込み類似性IRを上回ること、そしてハイブリッドKG+埋め込みアプローチが優れた結果を生むことを示す。
• KG経路に沿ってテキストチャンクを新規性と影響度で優先付けし、最近の有力発見を表面化する方法を示す。

提案手法

• 埋め込み類似性IR（ES IR）を用いた文の埋め込みとコサイン類似度（text-embedding-ada-002）を PubMed の文で用いる2つの検索戦略を開発する。
• NER/RE処理を通じて PubMed 抄録から生物医学知識グラフ（KG）を構築する（NER に KAZU + TinyBERN2、RE に BioRED で微調整した PubMedBERT）。
• エンティティ注釈と関係によってテキストチャンクをKGノード/エッジにマッピングし、質問内のエンティティ間の最短経路を用いて関連チャンクを選択する。
• 最近性（発行年）と影響度（引用数）の Pareto フロントランキングを用いて retrieved chunks を優先付けする。
• ES IRとKG IR から得られるスコアを再スケールして平均化し、強みを組み合わせるハイブリッドIRを評価する。
• 金標準の専門家注釈付きセットと比較して、8つの疾患で precision@K および recall@K における検索性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 KGベースのIR は埋め込みベースのIR が見逃す長尾の生物医療知識を取得するか？
• RQ2 KG IR はターゲットの生物医療質問に対する precision/recall において埋め込みIRと比較してどうか？
• RQ3 ハイブリッドKG+埋め込み検索は各手法単独よりも優れているか？
• RQ4 KG（recency + impact Pareto）による再バランスは最近の有力な文献の発見を改善するか？

主な発見

• KG IR は対象の生物医療質問における precision@K および recall@K で ES IR を上回る。
• KG IR は ES IR よりも広く多様な文書集合を取得する（ロングテール）、より多くのクラスターとグラフベースの検索領域の差異で証明。
• 小さな K に対してはハイブリッド ES IR + KG IR アプローチが優れた性能を出し、K が大きくなっても有利さを維持する。
• EmbeddingIR はデータの不均衡のせいで質問周辺領域を過剰採択しがちだが、KG IR はグラフ構造と最近性/影響度の優先付けでデータのバランスを取る。
• KGと埋め込みの信号を組み合わせると、初期取得段階（K<100）でいずれの方法単独よりも顕著な向上をもたらす。