[論文レビュー] Towards Ontology Construction with Language Models

Maurice Funk, Simon Hosemann+2 more|arXiv (Cornell University)|Sep 18, 2023

Semantic Web and Ontologies被引用数 6

ひとこと要約

本稿では、GPT-3.5を用いて反復的にLLMにクエリを発行し、サブコンセプトを生成するとともに、プロンプトベースの検証によって出力を検証することで、大規模言語モデル（LLM）を用いた完全自動のコンセプト階層構築手法を提案する。本手法は多様な分野において妥当で公開可能なオントロジーを生成し、LLMがオントロジー構築を加速する強力な可能性を示す一方で、幻覚現象や文化的バイアスといった課題も浮き彫りにしている。

ABSTRACT

We present a method for automatically constructing a concept hierarchy for a given domain by querying a large language model. We apply this method to various domains using OpenAI's GPT 3.5. Our experiments indicate that LLMs can be of considerable help for constructing concept hierarchies.

研究の動機と目的

• 人的なオントロジー構築の高コストと複雑さを低減するため、LLMをドメイン専門家として活用すること。
• 事前に定義されたスキーマや既存のオントロジー構造を必要とせずに、概念階層（is-a関係）を生成する手法を開発すること。
• 複数の分野にわたり手動による検査を通じて、LLMが生成するオントロジーの実現可能性と品質を評価すること。
• プロンプト工学と検証メカニズムが幻覚現象の低減と信頼性の向上に果たす役割を調査すること。
• 今後の段階で人間の専門家を統合するインタラクティブなLLM補助オントロジー構築パイプラインの基盤を築くこと。

提案手法

• 本手法は、初期概念（例：「動物」）を出発点とし、再帰的にLLMに関連するサブコンセプトを生成するクエリを発行することで開始する。
• 有向無閉路グラフ（DAG）として階層を管理するための走査アルゴリズムを用い、1つのコンセプトに対して複数のスーパー概念を許容する。
• 生成された各コンセプトには、人間による検査と検証を目的としたLLMによるテキスト記述が付随する。
• 概念関係の整合性と正しさを確認するため、追加のLLMクエリを用いて検証を実施する。
• 最小限のfew-shot例を用いながら、プロンプト工学によりLLMが構造的かつドメイン関連の出力を指向するように誘導する。
• 本手法は完全に自動的であり、人的な後処理を一切不要としており、生成されたオントロジーは公開されている。

実験結果

リサーチクエスチョン

• RQ1 事前に定義されたスキーマが存在しない状況でも、LLMが意味的で整合性のある概念階層を効果的に生成できるか？
• RQ2 異なる分野において、LLMが生成するサブコンセプトとis-a関係の正確性と一貫性はどの程度か？
• RQ3 プロンプト工学と検証メカニズムは、LLMが生成するオントロジーにおける幻覚現象や誤りをどの程度低減できるか？
• RQ4 LLMの学習データに内在する文化的・言語的バイアスが、構築されたオントロジーの構造と内容にどのように影響を及えるか？
• RQ5 LLMは、オントロジー工学における人間の専門知識を支援または補完する可能性をどの程度持っているか？

主な発見

• 動物、飲料、音楽、植物などの分野において、手動による検査を通じてLLMが生成するオントロジーは妥当で有用であると評価された。
• 本手法は、人的介入を最小限に抑えながら、ドメインに適したコンセプトおよびその階層的関係を豊富に生成できた。
• 幻覚現象や誤りは発生するが、検証クエリと洗練されたプロンプト工学により顕著に低減された。
• 構築されたオントロジーには文化的バイアスが現れ、例えば「チャイ」を「スパicedティー」と同一視するなど、学習データの西洋的・米国中心の視点が反映されている。
• LLMが初期のオントロジー構築において効果的でスケーラブルかつ低コストなツールとして機能できることを示した。これは、LLMがテキスト生成を支援するのと同様の役割を果たす可能性を示している。
• 本手法は、プロパティや排他制約、OWL や RDF Schema といった形式言語を含むより表現力の高いオントロジーへの拡張が可能である。