[論文レビュー] A Versatile Graph Learning Approach through LLM-based Agent

Lanning Wei, Huan Zhao+3 more|arXiv (Cornell University)|Sep 8, 2023

Advanced Graph Neural NetworksComputer Science被引用数 3

ひとこと要約

本稿では、LLMベースの自律的エージェントを用いて、多様なタスクおよびデータにおいてグラフ学習を自動化するフレームワークであるAuto2Graphを提案する。ユーザーの要請を意図検出、AutoGraphに基づくソリューション構成、応答生成に分解することで、エンドツーエンドかつ低コードのグラフ学習を実現し、ノード分類およびグラフ分類タスクにおいて、人間が設計した手法やAutoMLベースラインと同等のパフォーマンスを達成する。

ABSTRACT

Designing versatile graph learning approaches is important, considering the diverse graphs and tasks existing in real-world applications. Existing methods have attempted to achieve this target through automated machine learning techniques, pre-training and fine-tuning strategies, and large language models. However, these methods are not versatile enough for graph learning, as they work on either limited types of graphs or a single task. In this paper, we propose to explore versatile graph learning approaches with LLM-based agents, and the key insight is customizing the graph learning procedures for diverse graphs and tasks. To achieve this, we develop several LLM-based agents, equipped with diverse profiles, tools, functions and human experience. They collaborate to configure each procedure with task and data-specific settings step by step towards versatile solutions, and the proposed method is dubbed GL-Agent. By evaluating on diverse tasks and graphs, the correct results of the agent and its comparable performance showcase the versatility of the proposed method, especially in complex scenarios.The low resource cost and the potential to use open-source LLMs highlight the efficiency of GL-Agent.

研究の動機と目的

• 実世界の多様なグラフデータおよびタスクにおいて、人的な干渉を最小限に抑えながらグラフ学習を自動化する挑戦に応えること。
• 広範な事前知識を必要とし、タスクに適応した自動化に欠ける従来のAutoML（AutoGraph）手法の限界を克服すること。
• 非エキスパートのユーザーが、意図検出、アーキテクチャ設計、ハイパーパramータチューニングの自動化を通じて、複雑なグラフ学習を実行できるようにすること。
• エージェント駆動の分解と実行を通じて、ノードレベルおよびグラフレベルの学習タスクを統合的に処理するフレームワークを開発すること。
• LLMベースのエージェントがグラフ学習パイプライン全体で人間と同等の正確な意思決定を下す可能性を実証すること。

提案手法

• ユーザーのクエリを解釈し、複雑なグラフ学習タスクを構造的なサブタスクに分解する自律的エージェントとしての大型言語モデル（LLMs）を活用する。
• 3段階のエージェント計画パイプラインを実装する：(1) 学習ターゲット（ノード／エッジ／グラフレベル）を特定する意図検出、(2) アーキテクチャとハイパーパramータ選択のためのAutoGraphエージェント構成、(3) ソリューション実行を伴う応答生成。
• コア手順を管理する4つの専用AutoGraphエージェントを設計する：データ前処理、AutoML設定、ニューラルアーキテクチャ探索、ハイパーパramータの微調整。
• エージェントワークフロー内にAutoML技術を統合し、GNNアーキテクチャとハイパーパラメータを自動で最適化することで、エキスパート知識への依存を低減する。
• LLMにおけるfew-shotプロンプティングとチェーン・オブ・チョンク推論を活用し、複雑で多段階的なグラフ学習ワークフローをエージェントが効果的に処理できるようにする。
• 標準ベンチマークを用いて、ノード分類およびグラフ分類タスクにエンドツーエンドでフレームワークを適用し、エージェントが自立的にソリューションを生成・実行する。

Figure 1. The designed framework when learning on graph data with the help of LLM agents.

実験結果

リサーチクエスチョン

• RQ1 LLMベースのエージェントは、自然言語によるユーザークエリから多様なグラフ学習の意図を効果的に検出・解釈できるか？
• RQ2 自律的エージェントは、エキスパートの干渉なしに、データ処理、アーキテクチャ探索、ハイパーパラメータチューニングを含むグラフ学習パイプライン全体を自動化できるか？
• RQ3 エージェントが生成するソリューションのパフォーランスは、人間が設計した手法やAutoMLベースラインと比較して、多様なグラフデータセットでどの程度の水準にあるか？
• RQ4 LLMエージェントは、グラフ学習ワークフローにおいて、どの程度人間エキスパートと同等の意思決定を下せるか？
• RQ5 最小限のプロンプト工学で、ノード分類とグラフ分類の異なるグラフ学習タスクに一般化できるか？

主な発見

• ノード分類タスクにおいて、Auto2Graphは競争力のあるパフォーマンスを達成し、Coraでは86.81%、Photoでは96.40%、Computersでは92.47%、Physicsでは96.93%の精度を示し、人間が設計した手法やAutoMLベースラインと同等またはそれを上回る。
• グラフ分類タスクでは、Auto2Graphは最先端の手法を上回るか同等のパフォーマンスを示し、NCI1では82.14%、NCI109では81.25%の精度を達成し、ほとんどの場合DGCNNやDiffPoolを上回る。
• NCI1データセットにおける評価で、エージェントの相互作用が人間と同等の意思決定を示し、適切な手順とハイパーパラメータを正しく選択していた。
• 基本的なアグリゲーションおよびリードアウト操作のみを用いてもパフォーマンスが高く維持されるため、フィードバックを介して高度な操作に拡張可能であることが示された。
• 事前知識やコーディングスキルの必要性が顕著に低減され、非エキスパートが自然言語プロンプトを通じて複雑なグラフ学習タスクを実行できるようになった。
• エージェントベースのアプローチにより、意図検出からソリューション生成までエンドツーエンドの自動化が実現され、最小限の手動設定で可能となった。

Figure 2. The introduction of procedures and agents used when learning on graphs.