[論文レビュー] Evaluating Large Language Models on Graphs: Performance Insights and Comparative Analysis

Chang Liu, Bo Wu|arXiv (Cornell University)|Aug 22, 2023

Topic Modeling被引用数 4

ひとこと要約

本研究は、四つのメトリクス（理解度、正しさ、忠実度、是正）を用いて、GPT-3.5-turbo、GPT-4、および二つのオープンソースモデルの四つのLLMをグラフ推論タスクで評価する。結果として、GPTモデルは正しさと理解度において他のモデルを上回るが、複数回答タスクにおいて高い幻覚発生率と過信を示し、自己是正能力が制限される。GPT-4は自身およびGPT-3.5-turboの誤りを部分的に是正できる能力を示している。

ABSTRACT

Large Language Models (LLMs) have garnered considerable interest within both academic and industrial. Yet, the application of LLMs to graph data remains under-explored. In this study, we evaluate the capabilities of four LLMs in addressing several analytical problems with graph data. We employ four distinct evaluation metrics: Comprehension, Correctness, Fidelity, and Rectification. Our results show that: 1) LLMs effectively comprehend graph data in natural language and reason with graph topology. 2) GPT models can generate logical and coherent results, outperforming alternatives in correctness. 3) All examined LLMs face challenges in structural reasoning, with techniques like zero-shot chain-of-thought and few-shot prompting showing diminished efficacy. 4) GPT models often produce erroneous answers in multi-answer tasks, raising concerns in fidelity. 5) GPT models exhibit elevated confidence in their outputs, potentially hindering their rectification capacities. Notably, GPT-4 has demonstrated the capacity to rectify responses from GPT-3.5-turbo and its own previous iterations. The code is available at: https://github.com/Ayame1006/LLMtoGraph.

研究の動機と目的

• 自然言語で提示されたグラフトポロジーを理解し、推論する能力を評価すること。
• 二つのGPTモデルと二つのオープンソースモデルを含む四つのLLMが、グラフベースの推論タスクでどのように性能を発揮するかを比較すること。
• ゼロショットチェーン・オブ・チャンクやフェイントショットプロンプティングなどのプロンプト技術が、グラフ推論の質を向上させる効果があるかどうかを調査すること。
• 特に誤りが生じやすい状況下での、マルチアンサー系タスクにおけるモデルの忠実度と自己是正能力を評価すること。
• グラフベースのAI応用分野におけるLLMの限界と可能性についての知見を提供すること。

提案手法

• 本研究は、単純なパス探索、kホップ近傍分類、すべての最短パス問題を含む、グラフ推論タスクのセットを設計する。
• グラフはランダムに生成され、自然言語で記述され、ネットワーク構造の実世界的なテキスト表現を模倣する。
• 四つの評価メトリクスを適用する：理解度（グラフ構造の理解）、正しさ（回答の正確性）、忠実度（マルチアンサー系タスクにおける正解の割合）、是正（以前の誤りを是正できる能力）。
• ゼロショットチェーン・オブ・チャンクやフェイントショットプロンプティングを含む、複数のプロンプト戦略をテストし、推論品質に与える影響を評価する。
• 構造的複雑さの下での耐性をテストするため、グラフスパarsityレベル（エッジ割合：70%、90%）を変化させて実験を実施する。
• GPT-3.5-turbo、GPT-4、および二つのオープンソースLLMを、同一条件で比較することで、バイアスのない比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 自然言語で記述されたグラフデータを、LLMが効果的に理解し、そのトポロジー的構造について推論できるか？
• RQ2 複数回答タスクにおいて、異なるLLMの正しさと忠実度はどのように比較できるか？
• RQ3 ゼロショットチェーン・オブ・チャンクやフェイントショットプロンプティングといったプロンプト技術が、LLMのグラフ推論性能をどの程度向上させるか？
• RQ4 LLMは出力に対して過信を示し、誤った回答を是正できるか？
• RQ5 GPT-4はGPT-3.5-turboの誤りや自身の以前の出力の誤りを是正できるか？これは自己改善能力を示唆するか？

主な発見

• GPT-4は、GPT-3.5-turboの出力および自身の以前の出力の誤りを是正する能力を示し、部分的な自己是正能力を有していることが判明した。
• GPT-3.5-turboは、一つのマルチアンサー評価において、正確な回答の7倍の割合で誤った回答を出力し、忠実度が著しく低いことが明らかになった。
• 密度の高いグラフ（90％のエッジ密度）では、GPT-3.5-turboは正しさが55.32％、誤った出力が583件にのぼったが、GPT-4は正しさが31.91％、誤った出力はたった17件にとどまった。
• 両方のGPTモデルは、グラフ密度が高くなるにつれて幻覚が増加し、GPT-3.5-turboはGPT-4に比べて著しく多くの誤った出力を生成した。
• ゼロショットチェーン・オブ・チャンクとフェイントショットプロンプティングは、一貫した性能向上をもたらさず、特にトポロジー的推論が複雑な状況では誤った結果を生む場合があった。
• GPTモデルは、誤った出力であっても高い自信を示しており、これは効果的な自己是正や誤り訂正を妨げる可能性がある。