[论文解读] A Versatile Graph Learning Approach through LLM-based Agent

Lanning Wei, Huan Zhao+3 more|arXiv (Cornell University)|Sep 8, 2023

Advanced Graph Neural NetworksComputer Science被引用 3

一句话总结

该论文提出 Auto2Graph，一种利用基于大语言模型（LLM）的自主智能体来自动化跨多种任务和数据的图学习的框架。通过将用户请求分解为意图识别、基于 AutoGraph 的解决方案配置和结果生成三个阶段，该方法实现了端到端、低代码的图学习，其性能在节点分类和图分类任务上与人工设计及 AutoML 域基准方法相当。

ABSTRACT

Designing versatile graph learning approaches is important, considering the diverse graphs and tasks existing in real-world applications. Existing methods have attempted to achieve this target through automated machine learning techniques, pre-training and fine-tuning strategies, and large language models. However, these methods are not versatile enough for graph learning, as they work on either limited types of graphs or a single task. In this paper, we propose to explore versatile graph learning approaches with LLM-based agents, and the key insight is customizing the graph learning procedures for diverse graphs and tasks. To achieve this, we develop several LLM-based agents, equipped with diverse profiles, tools, functions and human experience. They collaborate to configure each procedure with task and data-specific settings step by step towards versatile solutions, and the proposed method is dubbed GL-Agent. By evaluating on diverse tasks and graphs, the correct results of the agent and its comparable performance showcase the versatility of the proposed method, especially in complex scenarios.The low resource cost and the potential to use open-source LLMs highlight the efficiency of GL-Agent.

研究动机与目标

• 解决在多样化的真实世界图数据和任务中实现图学习自动化的挑战，同时最大限度减少人工干预。
• 克服现有 AutoML（AutoGraph）方法的局限性，这些方法需要大量先验知识，且缺乏任务感知的自动化能力。
• 通过自动化意图识别、架构设计和超参数调优，使非专家用户能够执行复杂的图学习任务。
• 开发一个统一框架，通过智能体驱动的分解与执行，同时处理节点级和图级学习任务。
• 证明基于 LLM 的智能体在图学习全流程中能够做出类人、准确的决策。

提出的方法

• 利用大语言模型（LLM）作为自主智能体，解析用户查询，并将复杂的图学习任务分解为结构化的子任务。
• 实施三阶段智能体规划流程：(1) 意图识别，用于确定学习目标（节点/边/图级别）；(2) 基于 AutoGraph 的智能体配置，用于架构与超参数选择；(3) 响应生成，包含解决方案执行。
• 设计四个专用的 AutoGraph 智能体以管理核心流程：数据预处理、AutoML 配置、神经架构搜索和超参数微调。
• 在智能体工作流中集成 AutoML 技术，自动优化图神经网络（GNN）架构与超参数，降低对专家知识的依赖。
• 在 LLM 中使用少样本提示和思维链推理，引导智能体完成复杂、多步骤的图学习工作流。
• 在标准基准数据集上端到端应用该框架，针对节点分类和图分类任务，智能体自主生成并执行解决方案。

Figure 1. The designed framework when learning on graph data with the help of LLM agents.

实验结果

研究问题

• RQ1 基于 LLM 的智能体能否有效检测并从自然语言用户查询中解析出多样化的图学习意图？
• RQ2 自主智能体能否在无需专家干预的情况下，自动化完成图学习全流程，包括数据处理、架构搜索和超参数调优？
• RQ3 在多样化图数据集上，智能体生成的解决方案性能与人工设计及 AutoML 基线相比如何？
• RQ4 LLM 智能体在多大程度上能做出与人类专家相当的决策，应用于图学习工作流？
• RQ5 该框架在不同图学习任务（节点分类与图分类）之间是否具备泛化能力，且仅需极少提示工程？

主要发现

• 在节点分类任务中，Auto2Graph 表现具有竞争力，Cora 数据集上准确率达 86.81%，Photo 上为 96.40%，Computers 上为 92.47%，Physics 上为 96.93%，性能与人工设计及 AutoML 基线相当或更优。
• 在图分类任务中，Auto2Graph 表现优于或匹配最先进方法，在 NCI1 上达到 82.14%，在 NCI109 上达到 81.25%，在多数情况下超越 DGCNN 和 DiffPool。
• 该框架在智能体交互中展现出类人决策能力，在 NCI1 数据集评估中，智能体能正确选择合适的处理流程与超参数。
• 即使仅使用基础的聚合与读出操作，性能依然强劲，表明该智能体驱动框架可通过反馈机制轻松集成高级操作。
• 该方法显著降低了对先验知识和编码技能的需求，使非专家用户可通过自然语言提示完成复杂图学习任务。
• 基于智能体的方法实现了从意图识别到解决方案生成的端到端自动化，仅需极少手动配置。

Figure 2. The introduction of procedures and agents used when learning on graphs.