[论文解读] Evaluating Large Language Models on Graphs: Performance Insights and Comparative Analysis

Chang Liu, Bo Wu|arXiv (Cornell University)|Aug 22, 2023

Topic Modeling被引用 4

一句话总结

本研究使用四种指标——理解力、正确性、保真度和修正能力——评估了四款大语言模型（GPT-3.5-turbo、GPT-4及两款开源模型）在图推理任务中的表现。结果显示，GPT模型在正确性和理解力方面优于其他模型，但在多答案任务中幻觉率较高且过度自信，限制了其自我修正能力；其中GPT-4展现出部分能力，可修正自身及GPT-3.5-turbo的错误。

ABSTRACT

Large Language Models (LLMs) have garnered considerable interest within both academic and industrial. Yet, the application of LLMs to graph data remains under-explored. In this study, we evaluate the capabilities of four LLMs in addressing several analytical problems with graph data. We employ four distinct evaluation metrics: Comprehension, Correctness, Fidelity, and Rectification. Our results show that: 1) LLMs effectively comprehend graph data in natural language and reason with graph topology. 2) GPT models can generate logical and coherent results, outperforming alternatives in correctness. 3) All examined LLMs face challenges in structural reasoning, with techniques like zero-shot chain-of-thought and few-shot prompting showing diminished efficacy. 4) GPT models often produce erroneous answers in multi-answer tasks, raising concerns in fidelity. 5) GPT models exhibit elevated confidence in their outputs, potentially hindering their rectification capacities. Notably, GPT-4 has demonstrated the capacity to rectify responses from GPT-3.5-turbo and its own previous iterations. The code is available at: https://github.com/Ayame1006/LLMtoGraph.

研究动机与目标

• 评估大语言模型在自然语言描述的图拓扑结构上理解与推理的能力。
• 比较四款大语言模型——两款GPT模型与两款开源模型——在基于图的推理任务中的表现。
• 探究零样本思维链与少样本提示等提示技术在提升图推理性能方面的有效性。
• 评估模型在多答案任务中的保真度及其在易错场景下的自我修正能力。
• 为基于图的AI应用中大语言模型的局限性与潜力提供洞见。

提出的方法

• 本研究设计了一套图推理任务，包括简单路径查找、k跳邻居分类以及所有最短路径问题。
• 图结构通过随机生成，并以自然语言描述，以模拟现实世界中网络结构的文本化表示。
• 应用四种评估指标：理解力（对图结构的理解程度）、正确性（答案的准确性）、保真度（多答案任务中正确答案的比例）以及修正能力（纠正先前错误的能力）。
• 测试多种提示策略，包括零样本思维链与少样本提示，以评估其对推理质量的影响。
• 在不同图稀疏度水平（边占比：70%、90%）下进行实验，以检验模型在结构复杂性下的鲁棒性。
• 在相同条件下对比GPT-3.5-turbo、GPT-4及两款开源大语言模型的表现，确保比较的无偏性。

实验结果

研究问题

• RQ1 当图数据以自然语言描述时，大语言模型是否能有效理解图数据并推理其拓扑结构？
• RQ2 在解决多答案图推理任务时，不同大语言模型在正确性与保真度方面表现如何？
• RQ3 零样本思维链与少样本提示等提示技术在多大程度上能提升大语言模型在图推理任务中的表现？
• RQ4 大语言模型是否在输出中表现出过度自信？其能否自我修正错误响应？
• RQ5 GPT-4是否能够修正GPT-3.5-turbo或其自身先前输出中的错误，从而体现自我改进能力？

主要发现

• GPT-4展现出修正GPT-3.5-turbo输出及自身先前输出错误的能力，表明其具备部分自我修正能力。
• 在一项多答案评估中，GPT-3.5-turbo产生误导性答案的频率是准确答案的七倍，凸显其保真度低下。
• 在高密度图（90%边密度）中，GPT-3.5-turbo的正确率为55.32%，但产生了583个错误响应；而GPT-4的正确率为31.91%，仅产生17个错误响应。
• 随着图密度增加，两款GPT模型的幻觉现象均显著上升，其中GPT-3.5-turbo产生的错误输出远多于GPT-4。
• 零样本思维链与少样本提示并未一致提升性能，反而在复杂拓扑推理中常导致错误结果。
• GPT模型对其输出表现出高度自信，即使答案错误，这可能阻碍有效的自我修正与错误纠正。