[論文レビュー] MapperGPT: Large Language Models for Linking and Mapping Entities

Nicolas Matentzoglu, J. Harry Caufield+7 more|arXiv (Cornell University)|Oct 5, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

MapperGPT は、語彙的および構造的ヒューリスティクスに依存する低精度・高再現率のエンティティマッピングを、大規模言語モデル（LLMs）を用いて精錬することで、解剖学、発生生物学、腎疾患を含むバイオメディカル分野におけるクロスオントロジー整合タスクにおける精度を顕著に向上させる。LLMによるエンティティの意味的・文脈的推論により、LogMap などの最先端手法に比べて誤検出を低減し、優れた性能を発揮する。

ABSTRACT

Aligning terminological resources, including ontologies, controlled vocabularies, taxonomies, and value sets is a critical part of data integration in many domains such as healthcare, chemistry, and biomedical research. Entity mapping is the process of determining correspondences between entities across these resources, such as gene identifiers, disease concepts, or chemical entity identifiers. Many tools have been developed to compute such mappings based on common structural features and lexical information such as labels and synonyms. Lexical approaches in particular often provide very high recall, but low precision, due to lexical ambiguity. As a consequence of this, mapping efforts often resort to a labor intensive manual mapping refinement through a human curator. Large Language Models (LLMs), such as the ones employed by ChatGPT, have generalizable abilities to perform a wide range of tasks, including question-answering and information extraction. Here we present MapperGPT, an approach that uses LLMs to review and refine mapping relationships as a post-processing step, in concert with existing high-recall methods that are based on lexical and structural heuristics. We evaluated MapperGPT on a series of alignment tasks from different domains, including anatomy, developmental biology, and renal diseases. We devised a collection of tasks that are designed to be particularly challenging for lexical methods. We show that when used in combination with high-recall methods, MapperGPT can provide a substantial improvement in accuracy, beating state-of-the-art (SOTA) methods such as LogMap.

研究の動機と目的

• バイオメディカルデータ統合における語彙的および構造的エンティティマッピング手法の低精度問題に対処すること。
• 手作業のキュレーションに依存するのを減らし、LLM を用いた自動化されたマッピング精錬を実現すること。
• 解剖学、発生生物学、腎疾患を含む多様な分野におけるエンティティ統合の精度を向上させること。
• ヒューリスティクスベースのツールが生成するマッピングの後処理として LLM の有効性を評価すること。

提案手法

• MapperGPT は、語彙的および構造的特徴に依存する高再現率のエンティティマッピングツールの出力に続く、LLM を用いた後処理ステップを統合する。
• エンティティペア、そのラベル、同義語、文脈的メタデータを LLM に提示し、それらが真正の対応関係を表すかどうかを評価させる。
• LLM は意味的および文脈的推論に基づき、マッチまたはノーマッチの二値判断を生成し、誤検出をフィルタリングする。
• 複数の分野特化型の統合タスクにおいて評価され、キュレート済みのテストセットを用いて精度と F1 スコアを測定する。
• ファインチューニングを行わず、ゼロショットまたはフェイントショットのプロンプト戦略を用いて LLM を分野特化のマッピング課題に適応させる。
• モジュラー構造を採用しており、元の論理を変更せずに既存のマッピングパイプラインに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 LLM は、バイオメディカルエンティティ統合における高再現率の語彙的および構造的ヒューリスティクスが生成する誤検出マッピングを、効果的に低減できるか？
• RQ2 LogMap などの最先端手法と比較して、多様なバイオメディカル分野における精度と F1 スコアの観点から、LLM を用いた精錬はどの程度優れているか？
• RQ3 ファインチューニングなしで、LLM は異なるオントロジーおよび用語体系の間でどの程度一般化できるか？
• RQ4 語彙的類似性を超えて、文脈的および意味的手がかりがマッピング精度を向上させる役割を果たすか？
• RQ5 LLM の統合は、大規模エンティティマッピングワークフローのスケーラビリティおよび実用性にどのように影響を与えるか？

主な発見

• MapperGPT は、ベースラインの語彙的および構造的手法に比べてマッピング精度を顕著に向上させ、全評価分野で高い F1 スコアを達成した。
• LogMap と比較して、語彙的曖昧性を含む困難な統合タスクにおいて、MapperGPT は優れた性能を示した。
• LLM を用いた精錬ステップは、誤検出を効果的に低減しながらも高い再現率を維持しており、多様なバイオメディカルオントロジーにわたる強力な一般化能力を示した。
• ゼロショットプロンプトでさえも高いパフォーマンスを維持しており、モデルのファインチューニングなしでドメインシフトに耐性があることが示された。
• 既存のマッピングパイプラインに LLM を統合することで、手作業のキュレーションの必要性が低減され、人的労力がかかる精錬プロセスの代替手段としてスケーラブルなソリューションが得られた。