[論文レビュー] ChatGPT versus Traditional Question Answering for Knowledge Graphs: Current Status and Future Directions Towards Knowledge Graph Chatbots

Reham Omar, Omij Mangukiya+2 more|arXiv (Cornell University)|Feb 8, 2023

Topic Modeling被引用数 38

ひとこと要約

本論文はChatGPTとGalactica（対話型LM）をKGQAnとEDGQA（KGQAシステム）と比較し、4つの実在知識グラフに対して、フレームワークを提案し、KGチャットボットの研究課題を概説する。

ABSTRACT

Conversational AI and Question-Answering systems (QASs) for knowledge graphs (KGs) are both emerging research areas: they empower users with natural language interfaces for extracting information easily and effectively. Conversational AI simulates conversations with humans; however, it is limited by the data captured in the training datasets. In contrast, QASs retrieve the most recent information from a KG by understanding and translating the natural language question into a formal query supported by the database engine. In this paper, we present a comprehensive study of the characteristics of the existing alternatives towards combining both worlds into novel KG chatbots. Our framework compares two representative conversational models, ChatGPT and Galactica, against KGQAN, the current state-of-the-art QAS. We conduct a thorough evaluation using four real KGs across various application domains to identify the current limitations of each category of systems. Based on our findings, we propose open research opportunities to empower QASs with chatbot capabilities for KGs. All benchmarks and all raw results are available1 for further analysis.

研究の動機と目的

• 対話型AIモデル（例：ChatGPT、Galactica）の長所と限界を、従来のKG質問応答システム（KGQAn、EDGQA）と比較して評価する。
• 一般・学術分野の4つの実在K Gを、統一されたフレームワークを用いて評価する。
• 対話型AIとKGQAを組み合わせてKGチャットボットを実現するために必要な機能を特定する。
• 対話機能を持ち、最新情報を反映するKG QAシステムを進化させるための未解決の研究課題を提案する。

提案手法

• 正確性、堅牢性、決定論、説明可能性、質問理解、最新情報の取り込み、ドメイン汎用性を含む基準を備えた統一的な比較フレームワークを定義する。
• 評価の対象として、代表的な対話モデルを2つ（ChatGPTとGalactica）と、2つのKGQAシステム（KGQAnとEDGQA）を選定する。
• 4つの実在K G（QALD-9、YAGO、DBLP、MAG）に対して、英語の450問の質問を用いて評価する。
• 正確性を評価するためにマイクロF1などの関連指標を用い、出力形式の違いのため言語モデルについては手動評価を行う。
• 複数のChatGPTバリアント（Default、Follow up、Excel）をテストし、リコールとリスト完了への影響を研究する。
• 質問を繰り返して決定論を比較する。綴り・文法の撹乱による堅牢性を評価する。説明可能性と質問理解を分析する。

実験結果

リサーチクエスチョン

• RQ1 一般・学術分野におけるKGベースの質問に対して、ChatGPTとGalacticaはKGQAシステムとどう比較されるか？
• RQ2 正確性、リコール、適合度、および説明可能性の観点で、対話型AIと従来のKGQAの長所と短所は何か？
• RQ3 言語モデルとKGQA技術の組み合わせは、ドメイン間の汎用性と情報の新しさの点でより良い結果を生み出せるか？
• RQ4 対話機能、堅牢性、説明可能性、最新情報をサポートするKGチャットボットを開発する際の未解決課題は何か？

主な発見

システム	QALD-9 P	QALD-9 R	QALD-9 F1	YAGO P	YAGO R	YAGO F1	DBLP P	DBLP R	DBLP F1	MAG P	MAG R	MAG F1
EDGQA	31.30	40.30	32.00	41.90	40.80	41.40	8.00	8.00	8.00	4.00	4.00	4.00
KGQAn	49.81	39.39	43.99	48.48	65.22	55.62	57.86	52.02	54.78	55.41	45.61	50.04
Galactica	14.19	2.31	3.97	9.92	3.48	5.15	1.50	0.42	0.66	18.02	0.02	0.04
ChatGPT	55.85	10.61	17.83	76.10	36.30	49.15	48.28	0.74	1.46	28.13	0.04	0.07
ChatGPT-Excel	52.08	13.65	21.63	79.95	43.25	56.14	45.76	2.85	5.37	32.67	0.08	0.16
ChatGPT-Follow up	60.94	14.44	23.34	87.185	52.29	65.56	51.52	3.59	6.72	33.14	0.06	0.11

• KGQAnは一般・学術K Gで高い精度と再現率を達成し、強いドメイン汎用性を示す。
• ChatGPTはQALD-9とYAGOでKGQAnより高い精度を得るが、リコールが低く、特に長いリストで困難。
• ChatGPTのバリアント（Excel、Follow up）はリコールとリスト完了を改善し、特定のベンチマークで時にKGQAnを上回る。
• Galacticaはリスト質問で性能が低く、全体的にリコールが低い。
• ChatGPTは高い説明可能性と堅牢性を示す一方、従来のKGQAシステムは決定論的で最新情報の取得は可能だが説明が欠如。
• KGQAnはKG全体で強いパフォーマンスを維持し、与えられたKGからの最近情報の迅速な取り込みを支持。