[論文レビュー] Towards Ontology-Enhanced Representation Learning for Large Language Models

Francesco Ronzano, Jay Nanavati|arXiv (Cornell University)|May 30, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、GPT-3.5-turboを用いた合成定義生成と対照的微調整を介して、バイオメディカルオントロジー（特にMONDO）からの知識を統合することにより、埋め込みベースの大規模言語モデル（LLMs）の性能を向上させる新規な手法を提案する。このアプローチは、ドメイン内文書類似度性能を向上させる一方で、ドメイン外の能力に悪影響を及げず、特に基本的な手法で事前学習されたモデルにおいて顕著な向上を示す。

ABSTRACT

Taking advantage of the widespread use of ontologies to organise and harmonize knowledge across several distinct domains, this paper proposes a novel approach to improve an embedding-Large Language Model (embedding-LLM) of interest by infusing the knowledge formalized by a reference ontology: ontological knowledge infusion aims at boosting the ability of the considered LLM to effectively model the knowledge domain described by the infused ontology. The linguistic information (i.e. concept synonyms and descriptions) and structural information (i.e. is-a relations) formalized by the ontology are utilized to compile a comprehensive set of concept definitions, with the assistance of a powerful generative LLM (i.e. GPT-3.5-turbo). These concept definitions are then employed to fine-tune the target embedding-LLM using a contrastive learning framework. To demonstrate and evaluate the proposed approach, we utilize the biomedical disease ontology MONDO. The results show that embedding-LLMs enhanced by ontological disease knowledge exhibit an improved capability to effectively evaluate the similarity of in-domain sentences from biomedical documents mentioning diseases, without compromising their out-of-domain performance.

研究の動機と目的

• 外部のオントロジーから構造的・言語的知識を統合することにより、埋め込みベースのLLMの表現学習を向上させること。
• バイオメディスインなど専門分野における正確な意味的関係を捉えることができないドメイン特化型LLMの限界を解消すること。
• オントロジー構造と生成的LLMを活用した、自動的かつスケーラブルな知識統合手法を開発すること。
• 知識統合済みLLMのドメイン内およびドメイン外の文書類似度タスクにおける有効性を評価すること。
• モデルの一般化能力を損なわせることなく、性能向上を実現すること。

提案手法

• オントロジーの構造的（is-a関係）および言語的（同義語、記述）情報を利用し、GPT-3.5-turboを用いて、オントロジーのすべての概念に対して合成的かつ包括的な定義を生成する。
• オントロジー上の関係性と意味的類似度に基づき、意味的に類似した定義ペアと類似しないペアを組み合わせて、対照的学習用の訓練サンプルを構築する。
• 正例ペアでは埋め込み類似度を最大化し、負例ペアでは最小化する対照的学習目的関数を用いて、ターゲットの埋め込みLLMを微調整する。
• 微調整中にLLMが正例および負例ペアの両方の定義ペアをエンコードする二重エンコーダー枠組みを採用する。
• 病気関連の文書類似度に与える影響を評価するため、バイオメディカル疾患オントロジーであるMONDOに知識統合パイプラインを適用する。
• GitHubリポジトリを通じてフレームワーク、プロンプト、ハイパーパramータ、評価手順を公開することで再現性を確保する。

Figure 1: (a) structure of ontologies, generation of synthetic concept definitions; (b) creation of pairs os semantically related sentences by synonym substitution; (c) overview of the ontological knowledge infusion approach.

実験結果

リサーチクエスチョン

• RQ1 構造的オントロジー（例：MONDO）からの知識統合が、バイオメディカル分野における埋め込みベースLLMの文書類似度性能を向上させることができるか？
• RQ2 知識統合後、提案手法がLLMのドメイン外一般化能力を維持または向上させることができるか？
• RQ3 異なるLLMアーキテクチャ、特に事前学習戦略が異なるモデルにおいて、性能向上の程度はどのように変化するか？
• RQ4 オントロジー構造から導出された文の完全な定義を用いることで、単語の名詞句や同義語のみに依存する手法に比べて、どの程度性能が向上するか？
• RQ5 生成的LLMが、対照的微調整を効果的に向上させる高品質で多様な定義を的確に合成できるか？

主な発見

• MONDOからのオントロジー知識を統合した埋め込みLLMは、特に基本的な事前学習手法を用いたPubMedBERTのようなモデルにおいて、ドメイン内文書類似度タスクで性能向上を示す。
• この手法はドメイン外性能を維持するか、わずかに向上させることが確認され、一般化能力の低下がないことが示された。
• GTEbaseやGISTのようにより高度なモデルは、ほとんどの評価シナリオで小さなが一貫した向上を示した。
• 最先端のバイオメディカルLLMであるSapBERTも、知識統合によりさらなる性能向上を達成した。これは、本手法が強力なベースラインに対しても有効であることを確認する。
• 本手法はスケーラビリティと再現性を示しており、実装および評価コードの全容がGitHubで公開されている。
• オントロジー構造から導出された文の完全な定義の使用は、同義語ベースの手法に比べ、より頑健で意味的に豊かな表現をもたらす。