[論文レビュー] Using Large Language Models for Knowledge Engineering (LLMKE): A Case Study on Wikidata

Bohui Zhang, Ioannis Reklos+3 more|arXiv (Cornell University)|Sep 15, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、GPT-3.5-turbo や GPT-4 などの大規模言語モデル（LLM）を用いて、与えられた主語-関係ペアに対する Wikidata オブジェクトエンティティを予測するパイプラインである LLMKE を提案する。文脈内学習と Wikidata エンティティマッピングを組み合わせた手法であり、ISWC 2023 LM-KBC チャレンジでマクロ平均 F1 スコア 0.701 を達成した。これは、LLM がドメインごとの性能のばらつきが著しいものの、知識ベース補完の可能性を示している。

ABSTRACT

In this work, we explore the use of Large Language Models (LLMs) for knowledge engineering tasks in the context of the ISWC 2023 LM-KBC Challenge. For this task, given subject and relation pairs sourced from Wikidata, we utilize pre-trained LLMs to produce the relevant objects in string format and link them to their respective Wikidata QIDs. We developed a pipeline using LLMs for Knowledge Engineering (LLMKE), combining knowledge probing and Wikidata entity mapping. The method achieved a macro-averaged F1-score of 0.701 across the properties, with the scores varying from 1.00 to 0.328. These results demonstrate that the knowledge of LLMs varies significantly depending on the domain and that further experimentation is required to determine the circumstances under which LLMs can be used for automatic Knowledge Base (e.g., Wikidata) completion and correction. The investigation of the results also suggests the promising contribution of LLMs in collaborative knowledge engineering. LLMKE won Track 2 of the challenge. The implementation is available at https://github.com/bohuizhang/LLMKE.

研究の動機と目的

• 大規模言語モデル（LLM）を用いた Wikidata における自動知識ベース補完の可能性を調査すること。
• 知識カバレッジやドメイン固有性の異なる多様な Wikidata 関係において、LLM の性能がどのように変動するかを評価すること。
• 文脈内学習と Wikidata エンティティの曖昧除去を組み合わせたパイプラインを構築し、正確なオブジェクト予測を実現すること。
• 不完全または古くなった三元組を特定することで、LLM が Wikidata の品質向上に果たす役割を評価すること。
• 特に知識ギャップの特定および是正提案において、LLM が協働的ツールとしての可能性を探索すること。

提案手法

• 本手法は、少数の例を提示する文脈内学習を用いて、主語と関係ペアが与えられた際のオブジェクト予測を LLM に引き出す。
• 予測されたオブジェクト文字列は、ラベルとエイリアスを用いた曖昧除去に依存する wbsearchentities API を用いて Wikidata QID にマッピングされる。
• 二段階のパイプラインを採用する：まず LLM が候補オブジェクト文字列を生成し、次にラベルおよびエイリアスに基づく検索で Wikidata エンティティに一致させる。
• GPT-3.5-turbo と GPT-4 の両方を用いて、モデル間での性能比較と補完的知識の強みの特定を実施する。
• 予測結果を真値の Wikidata 三元組と照合し、関係ごとの F1 スコアを算出し、全プロパティにわたるマクロ平均を計算する。
• 一部の実験では、推論を向上させるためにウィキペディアの文脈を活用したが、知識の不一致のため性能が低下することもあった。

実験結果

リサーチクエスチョン

• RQ1 少数の例を用いた文脈内学習により、LLM は与えられた主語-関係ペアに対して Wikidata オブジェクトエンティティを信頼性高く予測できるか？
• RQ2 LLM の性能は、異なる Wikidata 関係においてどのように変動し、その要因は何か？
• RQ3 ウィキペディア、Wikidata、LLM 間の知識ギャップが、予測精度にどの程度影響を及えるか？
• RQ4 LLM を用いて不完全または古くなった Wikidata 三元組を検出し、是正を提案できるか？
• RQ5 複数の LLM をアンサンブルして、補完的知識を活用することで、全体の性能を向上させられるか？

主な発見

• LLMKE パイプラインは、全 Wikidata プロパティにわたるマクロ平均 F1 スコア 0.701 を達成した。スコアは 0.328 から 1.00 の範囲で変動した。
• GPT-4 は PersonHasNobelPrize 関係で F1 スコア 1.00 を達成し、よく知られた高精度な事実に対して優れた性能を示した。
• 最も性能が低かった関係、PersonHasEmployer では F1 スコアがわずか 0.328 にとどまり、LLM が一般的でない、またはドメイン固有の知識に限界を示していることが明らかになった。
• wbsearchentities API は、ラベルやエイリアスが欠落しているため、LLM が予測した文字列とのマッチングに失敗することが多く、曖昧除去の精度が制限された。
• ウィキペディアと Wikidata 間で顕著な知識ギャップが観察され、LLM は Wikidata がまだ反映していない更新された事実（例：Exor がフェラーリの親会社であること）を正しく予測した。
• 驚くべきことに、GPT-3.5-turbo は 2 つの関係で GPT-4 を上回った。これは、異なる LLM が異なる知識を保持しており、アンサンブル手法が有効であることを示唆している。