[논문 리뷰] Graph Neural Architecture Search with GPT-4

Haishuai Wang, Yang Gao외 4명|arXiv (Cornell University)|2023. 09. 30.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 GPT-4를 활용하여 그래프 신경망(GNN)의 설계를 자동화하는 새로운 그래프 신경망 아키텍처 탐색(GNAS) 방법인 GPT4GNAS를 제안한다. 구조화된 프롬프트를 통해 GPT-4를 반복적으로 이끌어가며 탐색 공간, 전략, 피드백을 기반으로 하여, 기존의 GNAS 방법보다 훨씬 적은 탐색 반복 수로 최신 기술 수준(SOTA) 성능을 달성한다. 이는 기준 데이터셋에서 기존의 GNAS 접근 방식을 능가한다.

ABSTRACT

Graph Neural Architecture Search (GNAS) has shown promising results in finding the best graph neural network architecture on a given graph dataset. However, existing GNAS methods still require intensive human labor and rich domain knowledge when designing the search space and search strategy. To this end, we integrate Large Language Models (LLMs) into GNAS and present a new GNAS model based on LLMs (GNAS-LLM for short). The basic idea of GNAS-LLM is to design a new class of GNAS prompts for LLMs to guide LLMs towards understanding the generative task of graph neural architectures. The prompts consist of descriptions of the search space, search strategy, and search feedback of GNAS. By iteratively running LLMs with the prompts, GNAS-LLM generates more accurate graph neural network architectures with fast convergence. Experimental results show that GNAS-LLM outperforms the state-of-the-art GNAS methods on four benchmark graph datasets, with an average improvement of 0.7% on the validation sets and 0.3% on the test sets. Besides, GNAS-LLM achieves an average improvement of 1.0% on the test sets based on the search space from AutoGEL.

연구 동기 및 목표

• 그래프 신경망 아키텍처 탐색(GNAS)의 공간과 전략을 설계하기 위해 요구되는 수동적 노력과 전문 지식을 줄이기 위해.
• GPT-4와 같은 대규모 언어 모델을 사용해 고성능 GNN 아키텍처를 자동으로 생성할 수 있는지 탐색하기 위해.
• GPT-4가 GNAS 탐색 공간을 효과적으로 이해하고 탐색할 수 있도록 하는 프롬프트 기반 프레임워크를 개발하기 위해.
• 모델 평가로부터의 반복적 피드백을 통해 최적의 GNN 아키텍처로의 수렴 속도를 가속화하기 위해.
• 다양한 그래프 데이터셋과 탐색 공간, 이전에 본 적이 없는 경우까지도 포함하여, 방법의 효과성을 검증하기 위해.

제안 방법

• 후보 연산과 연결을 나타내는 인접행렬 표현을 사용해 GNAS 탐색 공간을 코딩하는 새로운 유형의 프롬프트를 설계한다.
• GPT-4가 탐색과 이용의 균형을 이루도록 유도하기 위해 강화학습 기반의 탐색 전략을 프롬프트에 통합한다.
• 생성된 GNN의 평가 피드백을 동적 프롬프트로 사용해 반복적으로 GPT-4의 아키텍처 생성 능력을 보정한다.
• 이전 탐색 시도와 성능 지표를 포함시켜 프롬프트를 구조화함으로써 GPT-4가 이전 결과로부터 학습할 수 있도록 한다.
• 반복적 개선 적용: GNN 생성 → 평가 → 피드백을 바탕으로 다음 세대를 위한 프롬프트를 업데이트한다.
• GPT-4의 사전 학습된 지식과 소수의 예시 추론 능력을 활용해 GNN 아키텍처 공간을 효율적으로 탐색한다.

실험 결과

연구 질문

• RQ1 GPT-4는 고유한 프롬프트를 통해 고성능 그래프 신경망 아키텍처를 효과적으로 생성할 수 있는가?
• RQ2 GNAS에 GPT-4를 통합하면 탐색 연산 수를 줄이고 정확도를 향상시킬 수 있는가?
• RQ3 피드백 기반의 반복적 프롬프트 기법이 수렴 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 AutoGEL과 같은 이전에 본 적이 없는 그래프 탐색 공간으로 일반화 가능한가?
• RQ5 검증 및 테스트 정확도 측면에서 GPT4GNAS는 최신 기술 수준의 GNAS 방법보다 어떻게 비교되는가?

주요 결과

• Cora, Citeseer, Pubmed, arXiv 데이터셋 전반에서 GPT4GNAS는 베이스라인 GNAS 방법보다 평균 0.42% 높은 검증 정확도를 달성한다.
• Cora 및 arXiv 데이터셋에서 GPT4GNAS는 검증 정확도 측면에서 가장 우수한 성능을 보이는 GNN 아키텍처를 발견한다.
• 15회의 반복 후 GPT4GNAS는 항상 최고의 GNN 아키텍처를 출력하며, 강화학습 및 진화 기반 GNAS 베이스라인을 능가한다.
• AutoGEL 탐색 공간에서 GPT4GNAS는 Cora(91.51% 대 89.11%), Citeseer(78.08% 대 77.33%), Pubmed(89.62% 대 89.60%)에서 AutoGEL보다 더 높은 테스트 정확도를 달성한다.
• 이 방법은 평균적으로 평가해야 할 GNN 아키텍처가 97.5개에 불과하여 매우 빠른 수렴을 보여준다.
• 제거 실험을 통해 프롬프트 설계의 각 구성 요소—탐색 공간, 전략, 피드백—이 아키텍처 정확도 향상에 기여한다는 것이 확인되었다.