[论文解读] Graph Neural Architecture Search with GPT-4

Haishuai Wang, Yang Gao+4 more|arXiv (Cornell University)|Sep 30, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出 GPT4GNAS，一种新颖的图神经架构搜索方法，通过定制的提示工程框架利用 GPT-4 自动化图神经网络的设计。通过迭代地使用描述搜索空间、策略和反馈的结构化提示引导 GPT-4，该方法在显著更少的搜索迭代次数下实现了最先进性能，在基准数据集上的表现优于现有的 GNAS 方法。

ABSTRACT

Graph Neural Architecture Search (GNAS) has shown promising results in finding the best graph neural network architecture on a given graph dataset. However, existing GNAS methods still require intensive human labor and rich domain knowledge when designing the search space and search strategy. To this end, we integrate Large Language Models (LLMs) into GNAS and present a new GNAS model based on LLMs (GNAS-LLM for short). The basic idea of GNAS-LLM is to design a new class of GNAS prompts for LLMs to guide LLMs towards understanding the generative task of graph neural architectures. The prompts consist of descriptions of the search space, search strategy, and search feedback of GNAS. By iteratively running LLMs with the prompts, GNAS-LLM generates more accurate graph neural network architectures with fast convergence. Experimental results show that GNAS-LLM outperforms the state-of-the-art GNAS methods on four benchmark graph datasets, with an average improvement of 0.7% on the validation sets and 0.3% on the test sets. Besides, GNAS-LLM achieves an average improvement of 1.0% on the test sets based on the search space from AutoGEL.

研究动机与目标

• 减少在设计图神经架构搜索（GNAS）空间和策略时所需的手动工作量和领域专业知识。
• 探索使用类似 GPT-4 的大语言模型自动生成高性能 GNN 架构的可行性。
• 开发一种基于提示的框架，使 GPT-4 能够有效理解并导航 GNAS 搜索空间。
• 通过模型评估的迭代反馈加速收敛至最优 GNN 架构。
• 在包括此前未见过的搜索空间在内的多样化图数据集和搜索空间上验证该方法的有效性。

提出的方法

• 设计一类新型提示，使用候选操作和连接的邻接矩阵表示来编码 GNAS 搜索空间。
• 将基于强化学习的搜索策略集成到提示中，以引导 GPT-4 平衡探索与利用。
• 利用生成的 GNN 的评估反馈作为动态提示，跨迭代微调 GPT-4 的架构生成能力。
• 将历史搜索尝试和性能指标纳入提示结构，使 GPT-4 能够从先前结果中学习。
• 应用迭代优化：生成一个 GNN，评估其性能，并利用反馈更新提示以生成下一代架构。
• 利用 GPT-4 的预训练知识和 few-shot 推理能力，高效探索 GNN 架构空间。

实验结果

研究问题

• RQ1 GPT-4 是否可以通过定制提示被有效引导，以生成高性能的图神经网络架构？
• RQ2 将 GPT-4 集成到 GNAS 中是否能减少所需搜索操作次数，同时提升准确率？
• RQ3 基于反馈的迭代提示机制如何影响收敛速度和最终性能？
• RQ4 所提出的方法能否泛化到未见过的图搜索空间，例如 AutoGEL 中的搜索空间？
• RQ5 在验证准确率和测试准确率方面，GPT4GNAS 与最先进 GNAS 方法相比表现如何？

主要发现

• 在 Cora、Citeseer、Pubmed 和 arXiv 数据集上，GPT4GNAS 的平均验证准确率比基线 GNAS 方法高出 0.42%。
• 在 Cora 和 arXiv 数据集上，GPT4GNAS 在验证准确率方面发现了表现最佳的 GNN 架构。
• 经过 15 次迭代后，GPT4GNAS 稳定输出最佳 GNN 架构，优于强化学习和进化算法 GNAS 基线方法。
• 在 AutoGEL 搜索空间中，GPT4GNAS 在 Cora（91.51% vs. 89.11%）、Citeseer（78.08% vs. 77.33%）和 Pubmed（89.62% vs. 89.60%）上的测试准确率优于 AutoGEL。
• 该方法仅需平均评估 97.5 个 GNN 架构，表明其收敛速度快。
• 消融实验确认，提示设计中的每个组件——搜索空间、策略和反馈——均对提升架构准确率有贡献。