[論文レビュー] Conversational Ontology Alignment with ChatGPT

Sanaz Saki Norouzi, Mohammad Saeid Mahdavinejad+1 more|arXiv (Cornell University)|Aug 18, 2023

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文は、関係(主語, 客語)としてフォーマットされたオントロジー三項節を用いた構造化プロンプトを用いて、ChatGPTのゼロショットオントロジー整合性評価を実施している。平均リコールが0.69に達する一方で、精度は平均0.46にとどまり、誤検出が多数発生していることが示唆されるが、候補マッピングの特定や拡張のための新規エンティティの提案において潜在的な可能性を示している。

ABSTRACT

This study evaluates the applicability and efficiency of ChatGPT for ontology alignment using a naive approach. ChatGPT's output is compared to the results of the Ontology Alignment Evaluation Initiative 2022 campaign using conference track ontologies. This comparison is intended to provide insights into the capabilities of a conversational large language model when used in a naive way for ontology matching, and to investigate the potential advantages and disadvantages of this approach.

研究の動機と目的

• 微調整や少数の例なしにChatGPTを用いたオントロジー整合性の可能性を評価すること。
• 異なるプロンプト工学戦略が整合性品質に与える影響を調査すること。
• OAEI 2022カンファレンストラックの基準マッピングと比較して、ChatGPTのゼロショット出力を評価すること。
• 会話型大規模言語モデルを用いたオントロジー統合における意味的マッチングの強みと限界を特定すること。

提案手法

• OAEI 2022カンファレンストラックのオントロジーから得られた三項節を、例えとしてIs-a (track, conference_part) のように構造化された関係としてフォーマットした。
• 固定テンプレートを用いたプロンプト設計：問題定義、オントロジー1の三項節、オントロジー2の三項節、および意味的に類似するエンティティをマッピングする目的。
• 異なるプロンプトバリエーションをテストし、最終的なアプローチではモデルの理解を向上させるためにフォーマットされたテキストを使用した。
• トークン制限に対処するため、長大なプロンプトを小さなセグメントに分割し、対話間で文脈を保持した。
• 高度なオントロジー構造による複雑さを避けるため、三項節として表現可能な公理のみを含めた。
• 性能評価は、OAEI 2022基準マッピング（ra1-M3）との比較において、精度、リコール、F1スコアを用いた。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTのようなゼロショットで素朴にプロンプトされた大規模言語モデルは、既存のシステムと比較して競争力のある性能を達成できるか？
• RQ2 異なるプロンプトフォーマット戦略が生成されたマッピング品質にどのように影響するか？
• RQ3 ChatGPTのオントロジーマッチングにおける主な失敗モードは何か、例えば誤検出や誤ったサブクラスマッピングの例は？
• RQ4 明示的なトレーニングや例なしに、ChatGPTはどの程度意味的対応関係を特定できるか？
• RQ5 元のオントロジーに存在しない、妥当な新しいエンティティやマッピングをChatGPTは生成できるか？

主な発見

• ChatGPTは21組のオントロジー対について平均F1スコア0.52を達成し、中程度の全体的な整合性品質を示した。
• モデルは高いリコール（平均0.69）を示し、真のマッピングの大部分を正しく特定できた。
• 精度は低く（平均0.46）なっており、生成されたマッピングに誤検出が多数含まれていることが示唆された。
• プロンプト7（構造化フォーマットと丁寧な文脈管理を採用）が最も優れた結果を示し、cmt-conference対でF1スコア0.62を達成した。
• ChatGPTは頻繁に不確実または推測的なマッピングを生成し、入力オントロジーに存在しない新しいエンティティを含むこともあった。
• トークン長の制限が、モデルが全オントロジーを処理する能力を著しく制限しており、プロンプトのセグメンテーションが不可欠となった。