[論文レビュー] Exploring Large Language Models for Ontology Alignment

Yuan He, Jiaoyan Chen+2 more|arXiv (Cornell University)|Sep 12, 2023

Biomedical Text Mining and Ontologies被引用数 6

ひとこと要約

本稿では、Flan-T5-XXL や GPT-3.5-turbo などの大規模言語モデル（LLM）を用いたゼロショットオントロジー整合性の可能性を調査し、概念ラベルと構造的文脈（親/子関係）を活用するプロンプトベースのフレームワークを提案する。結果として、Flan-T5-XXL にしきい値処理を適用した場合、NCIT-DOIDサブセットで F スコア 0.721 を達成し、BERTMap よりも F スコアで優れている。これは、適切にプロンプトされた LLM が、オントロジーマッピングの分野における潜在的価値を示している。

ABSTRACT

This work investigates the applicability of recent generative Large Language Models (LLMs), such as the GPT series and Flan-T5, to ontology alignment for identifying concept equivalence mappings across ontologies. To test the zero-shot performance of Flan-T5-XXL and GPT-3.5-turbo, we leverage challenging subsets from two equivalence matching datasets of the OAEI Bio-ML track, taking into account concept labels and structural contexts. Preliminary findings suggest that LLMs have the potential to outperform existing ontology alignment systems like BERTMap, given careful framework and prompt design.

研究の動機と目的

• 微調整を伴わない大規模言語モデル（LLM）を用いたゼロショットオントロジー整合性の可能性を評価すること。
• 概念ラベルと構造的文脈（例：親/子関係）が LLM を用いたマッピング性能に与える影響を調査すること。
• Flan-T5-XXL や GPT-3.5-turbo を用いた LLM ベースのシステムを、BERTMap や BERTMapLt などの既存のベースラインと、非自明で複雑なオントロジーマッピングサブセットで比較すること。
• LLM から信頼性のある yes/no の予測を抽出する際の主な課題を特定し、意味的同等性検出のためのプロンプト設計を最適化すること。
• フレームワークとプロンプト工学を慎重に設計することで、LLM が既存の手法を上回る可能性を探索すること。

提案手法

• LLM が、ソースおよびターゲットのオントロジーからの概念の名前と階層的文脈に基づいて、それらが同等であるかどうかを分類するゼロショットプロンプティングフレームワークを設計した。
• 構造化された入力を使用：ソースおよびターゲットの概念のラベル、親概念、子概念を含む。
• モデルの出力は二値分類として解釈され、'Yes' が同等性、'No' が非同等性を示し、'Yes' ターゲットの確率が信頼度スコアとして使用された。
• 低信頼度の 'Yes' 予測をフィルタリングするためにしきい値処理を適用し、再現率を犠牲にすることで精度を向上させた。
• 親および子概念の名前を追加の文脈として統合し、モデルの構造的関係理解を強化した。
• 標準的な OM メトリクス（精度、再現率、F スコア、Hits@1、MRR、RR）を用い、OAEI Bio-ML トラックの2つの困難なサブセットで評価した。

実験結果

リサーチクエスチョン

• RQ1 Flan-T5-XXL や GPT-3.5-turbo などの LLM は、微調整なしにゼロショットオントロジー整合性で競争力のある性能を達成できるか？
• RQ2 親および子概念などの構造的文脈を組み込むことで、LLM を用いたオントロジーマッピングの精度は向上するか？
• RQ3 LLM の出力スコアにしきい値処理を適用することで、マッピング予測における精度・再現率のトレードオフは改善されるか？
• RQ4 LLM ベースのシステムは、非自明で文字列マッチングを除外したデータセットにおいて、最先端のベースライン（BERTMap や BERTMapLt）と比較してどうなるか？
• RQ5 LLM からオントロジー整合性タスクのための信頼性のある二値予測を抽出する際の主な課題は何か？

主な発見

• Flan-T5-XXL にしきい値処理を適用した場合、NCIT-DOID サブセットで F スコア 0.721 を達成し、BERTMap の F スコア 0.628 を上回った。
• SNOMED-FMA（Body）サブセットでは、Flan-T5-XXL にしきい値処理を適用した場合、F スコア 0.346 を達成し、BERTMapLt（0.395）を下回ったが、BERTMap（0.552）に近づいた。
• NCIT-DOID サブセットでは、しきい値処理により精度が 0.643 から 0.861 に向上したが、再現率は 0.720 から 0.620 に低下した。
• 親/子の文脈を統合しても性能向上が見られず、場合によっては F スコアが低下した。これは、現在の文脈統合戦略が最適でないことを示唆している。
• GPT-3.5-turbo は低い性能（F スコア 0.132）を示し、二値応答を信頼性を持って出力できなかった。これは、冗長な説明や確率抽出の欠如による可能性が高い。
• BERTMapLt は、文字列マッチングが除外されたサブセットで性能を発揮しなかったが、これは想定通りであり、編集類似度に依存しているため、このようなペアでは効果が薄い。