[논문 리뷰] A Versatile Graph Learning Approach through LLM-based Agent

Lanning Wei, Huan Zhao외 3명|arXiv (Cornell University)|2023. 09. 08.

Advanced Graph Neural NetworksComputer Science인용 수 3

한 줄 요약

이 논문은 다양한 작업과 데이터에서 그래프 학습을 자동화하는 데 LLM 기반 자율 에이전트를 사용하는 Auto2Graph 프레임워크를 제안한다. 사용자 요청을 의도 탐지, AutoGraph 기반 솔루션 구성, 응답 생성으로 분해함으로써, 엔드 투 엔드로 저코드 그래프 학습을 가능하게 하며, 노드 및 그래프 분류 작업 전반에서 인간이 설계한 방법과 AutoML 기준선과 비교해 유사한 성능을 달성한다.

ABSTRACT

Designing versatile graph learning approaches is important, considering the diverse graphs and tasks existing in real-world applications. Existing methods have attempted to achieve this target through automated machine learning techniques, pre-training and fine-tuning strategies, and large language models. However, these methods are not versatile enough for graph learning, as they work on either limited types of graphs or a single task. In this paper, we propose to explore versatile graph learning approaches with LLM-based agents, and the key insight is customizing the graph learning procedures for diverse graphs and tasks. To achieve this, we develop several LLM-based agents, equipped with diverse profiles, tools, functions and human experience. They collaborate to configure each procedure with task and data-specific settings step by step towards versatile solutions, and the proposed method is dubbed GL-Agent. By evaluating on diverse tasks and graphs, the correct results of the agent and its comparable performance showcase the versatility of the proposed method, especially in complex scenarios.The low resource cost and the potential to use open-source LLMs highlight the efficiency of GL-Agent.

연구 동기 및 목표

• 최소한의 인간 간섭으로 다양한 실생활 그래프 데이터와 작업에 걸쳐 그래프 학습을 자동화하는 데 도전한다.
• 기존 AutoML(AutoGraph) 접근법이 광범위한 사전 지식이 필요하고 작업 인식 기반 자동화가 부족하다는 한계를 극복한다.
• 비전문가 사용자가 의도 탐지, 아키텍처 설계, 하이퍼파라미터 튜닝을 자동화함으로써 복잡한 그래프 학습을 수행할 수 있도록 한다.
• 에이전트 기반 분해와 실행을 통해 노드 수준 및 그래프 수준의 학습 작업을 통합적으로 처리할 수 있는 프레임워크를 개발한다.
• LLM 기반 에이전트가 그래프 학습 파이프라인 전반에서 인간과 유사하고 정확한 결정을 내리는 것이 가능한지 검증한다.

제안 방법

• 사용자 질의를 해석하고 복잡한 그래프 학습 작업을 구조화된 하위 작업으로 분해하기 위해 대규모 언어 모델(LLMs)을 자율 에이전트로 활용한다.
• 세 단계 에이전트 계획 파이프라인을 구현한다: (1) 학습 대상(노드/엣지/그래프 수준)을 식별하기 위한 의도 탐지, (2) 아키텍처 및 하이퍼파라미터 선택을 위한 AutoGraph 에이전트 구성, (3) 솔루션 실행과 함께 응답 생성.
• 핵심 절차를 관리하기 위해 네 가지 전용 AutoGraph 에이전트를 설계한다: 데이터 전처리, AutoML 구성, 신경망 아키텍처 탐색, 하이퍼파라미터 정밀 조정.
• 에이전트 워크플로우 내부에 AutoML 기법을 통합하여 GNN 아키텍처와 하이퍼파라미터를 자동으로 최적화함으로써 전문 지식 의존도를 낮춘다.
• LLM에서 few-shot 프롬프팅과 사고 체인 추론을 활용해 복잡한 다단계 그래프 학습 워크플로우를 안내한다.
• 표준 벤치마크를 사용해 노드 및 그래프 분류 작업에 대해 프레임워크를 엔드 투 엔드로 적용하며, 에이전트가 솔루션을 자율적으로 생성하고 실행한다.

Figure 1. The designed framework when learning on graph data with the help of LLM agents.

실험 결과

연구 질문

• RQ1 LLM 기반 에이전트는 자연어 사용자 질의로부터 다양한 그래프 학습 의도를 효과적으로 탐지하고 해석할 수 있는가?
• RQ2 전문가 간섭 없이도 데이터 처리, 아키텍처 탐색, 하이퍼파라미터 튜닝을 포함한 그래프 학습 전반의 파이프라인을 자율 에이전트가 자동화할 수 있는가?
• RQ3 에이전트가 생성한 솔루션의 성능은 다양한 그래프 데이터셋에서 인간이 설계한 방법과 AutoML 기준선과 비교해 어떻게 되는가?
• RQ4 LLM 에이전트가 그래프 학습 워크플로우에서 인간 전문가 수준의 결정을 얼마나 잘 내릴 수 있는가?
• RQ5 최소한의 프롬프트 엔지니어링으로도 다양한 그래프 학습 작업(노드 분류 대비 그래프 분류)에 일반화 가능한가?

주요 결과

• Auto2Graph는 노드 분류 작업에서 경쟁적인 성능을 달성했으며, Cora에서 86.81%, Photo에서 96.40%, Computers에서 92.47%, Physics에서 96.93%의 정확도를 기록하여 인간이 설계한 방법과 AutoML 기준선과 유사하거나 이를 초월했다.
• 그래프 분류 작업에서는 상태 기반 기법을 능가하거나 동등하게 성능을 내며, NCI1에서 82.14%, NCI109에서 81.25%의 성능을 기록했고, 대부분의 경우 DGCNN과 DiffPool를 뛰어넘었다.
• NCI1 데이터셋에 대한 평가에서 에이전트 상호작용이 인간과 유사한 의사결정을 보였으며, 적절한 절차와 하이퍼파라미터를 정확히 선택했다.
• 기본 집계 및 리더아웃 연산만 사용해도 성능이 유지되며, 피드백을 통해 고급 연산으로의 향상이 가능함을 시사한다.
• 사전 지식과 프로그래밍 전문성의 필요성이 크게 감소하여, 비전문가 사용자가 자연어 프롬프트만으로도 복잡한 그래프 학습 작업을 수행할 수 있게 되었다.
• 에이전트 기반 접근법을 통해 의도 탐지에서 솔루션 생성에 이르기까지 그래프 학습의 엔드 투 엔드 자동화가 가능하며, 최소한의 수동 설정으로 이루어진다.

Figure 2. The introduction of procedures and agents used when learning on graphs.