[論文レビュー] Graph Neural Architecture Search with GPT-4

Haishuai Wang, Yang Gao+4 more|arXiv (Cornell University)|Sep 30, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、GPT-4をカスタムプロンプト工学フレームワークを介して活用することで、グラフニューラルネットワークの設計を自動化する新規なグラフニューラルアーキテクチャ探索手法GPT4GNASを提案する。構造化されたプロンプトを繰り返し用いて探索空間、戦略、フィードバックをGPT-4にガイドすることで、従来のGNAS手法と比較してはるかに少ない探索反復回数で最先端の性能を達成し、ベンチマークデータセットにおいて優れた性能を示した。

ABSTRACT

Graph Neural Architecture Search (GNAS) has shown promising results in finding the best graph neural network architecture on a given graph dataset. However, existing GNAS methods still require intensive human labor and rich domain knowledge when designing the search space and search strategy. To this end, we integrate Large Language Models (LLMs) into GNAS and present a new GNAS model based on LLMs (GNAS-LLM for short). The basic idea of GNAS-LLM is to design a new class of GNAS prompts for LLMs to guide LLMs towards understanding the generative task of graph neural architectures. The prompts consist of descriptions of the search space, search strategy, and search feedback of GNAS. By iteratively running LLMs with the prompts, GNAS-LLM generates more accurate graph neural network architectures with fast convergence. Experimental results show that GNAS-LLM outperforms the state-of-the-art GNAS methods on four benchmark graph datasets, with an average improvement of 0.7% on the validation sets and 0.3% on the test sets. Besides, GNAS-LLM achieves an average improvement of 1.0% on the test sets based on the search space from AutoGEL.

研究の動機と目的

• グラフニューラルアーキテクチャ探索（GNAS）の空間と戦略を設計する際に必要な人的作業とドメインの専門知識を削減すること。
• GPT-4のような大規模言語モデルを用いて、高パフォーマンスなGNNアーキテクチャを自動的に生成する可能性を検証すること。
• GPT-4がGNA S探索空間を効果的に理解し、効果的にナビゲートできるようにするプロンプトベースのフレームワークを開発すること。
• モデル評価からの反復的フィードバックを活用して、最適なGNNアーキテクチャへの収束を加速すること。
• これまでに見られなかった探索空間を含む多様なグラフデータセットと探索空間において、本手法の有効性を検証すること。

提案手法

• 候補演算と接続の隣接行列表現を用いて、GNA S探索空間をエンコードする新しいタイプのプロンプトを設計する。
• GPT-4が探索と活用のバランスを取れるように、強化学習に基づく探索戦略をプロンプトに統合する。
• 生成されたGNNの評価フィードバックを動的プロンプトとして活用し、反復的にGPT-4のアーキテクチャ生成を最適化する。
• 歴史的な探索試行とパフォーマンス指標を含めるようにプロンプトを構造化し、GPT-4が過去の結果から学習できるようにする。
• 反復的精錬を適用：GNNを生成し、評価を行い、そのフィードバックをもとに次の世代のプロンプトを更新する。
• GPT-4の事前学習済み知識と少数ショット推論能力を活用して、GNNアーキテクチャ空間を効率的に探索する。

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、カスタムプロンプトによって効果的にガイドされることで、高パフォーマンスなグラフニューラルネットワークアーキテクチャを生成できるか？
• RQ2 GPT-4をGNA Sに統合することで、必要な探索操作回数を減らし、精度を向上させることができるか？
• RQ3 フィードバック駆動の反復的プロンプト生成メカニズムは、収束速度と最終的なパフォーマンスにどのように影響するか？
• RQ4 提案手法は、AutoGELのような未確認のグラフ探索空間にも一般化可能か？
• RQ5 検証精度およびテスト精度の観点から、GPT4GNASは最先端のGNAS手法と比較してどのように差をつけるか？

主な発見

• Cora、Citeseer、Pubmed、arXivの4つのデータセットにおいて、GPT4GNASはベースラインのGNAS手法と比較して平均0.42%高い検証精度を達成した。
• CoraおよびarXivデータセットにおいて、GPT4GNASは検証精度の観点で最良のGNNアーキテクチャを発見した。
• 15回の反復後、GPT4GNASは一貫して最良のGNNアーキテクチャを出力し、強化学習および進化的なGNASベースラインを上回った。
• AutoGELの探索空間において、Cora（91.51% vs. 89.11%）、Citeseer（78.08% vs. 77.33%）、Pubmed（89.62% vs. 89.60%）の各データセットで、GPT4GNASがAutoGELよりも高いテスト精度を達成した。
• 本手法は平均97.5回のGNNアーキテクチャ評価で十分であり、高速な収束を示した。
• アブレーションスタディの結果、プロンプト設計の各要素（探索空間、戦略、フィードバック）がアーキテクチャ精度の向上に寄与していることが確認された。