[논문 리뷰] Automated Graph Machine Learning: Approaches, Libraries, Benchmarks and Directions

Xin Wang, Ziwei Zhang외 2명|arXiv (Cornell University)|2022. 01. 04.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 그래프 신경망을 위한 초파ram터 최적화(HPO)와 신경망 아키텍처 탐색(NAS)에 중점을 두어 자동화된 그래프 기계학습에 대한 종합적인 서베이를 제시한다. 세계 최초로 자동화된 그래프 기계학습을 전용으로 하는 오픈소스 라이브러리인 AutoGL을 소개하며, 확장성, 설명 가능성, 하드웨어 인지 설계와 같은 주요 과제와 향후 연구 방향을 제시한다.

ABSTRACT

Graph machine learning has been extensively studied in both academic and industry. However, as the literature on graph learning booms with a vast number of emerging methods and techniques, it becomes increasingly difficult to manually design the optimal machine learning algorithm for different graph-related tasks. To tackle the challenge, automated graph machine learning, which aims at discovering the best hyper-parameter and neural architecture configuration for different graph tasks/data without manual design, is gaining an increasing number of attentions from the research community. In this paper, we extensively discuss automated graph machine learning approaches, covering hyper-parameter optimization (HPO) and neural architecture search (NAS) for graph machine learning. We briefly overview existing libraries designed for either graph machine learning or automated machine learning respectively, and further in depth introduce AutoGL, our dedicated and the world's first open-source library for automated graph machine learning. Also, we describe a tailored benchmark that supports unified, reproducible, and efficient evaluations. Last but not least, we share our insights on future research directions for automated graph machine learning. This paper is the first systematic and comprehensive discussion of approaches, libraries as well as directions for automated graph machine learning.

연구 동기 및 목표

• 다양한 작업을 위한 최적의 그래프 기계학습 모델을 설계하는 데 필요한 점점 증가하는 복잡성과 수동 작업을 해결하기 위해.
• 특히 HPO와 NAS에 중점을 두어 자동화된 그래프 기계학습 분야의 기존 접근법을 체계화하고 서베이하기 위해.
• 자동화된 그래프 기계학습을 위해 특별히 설계된 세계 최초의 오픈소스 라이브러리인 AutoGL을 소개하기 위해.
• 확장성, 설명 가능성, 내구성과 같은 핵심 과제와 자동화된 그래프 기계학습 분야의 향후 연구 방향을 식별하기 위해.
• 학계 및 산업 현장에서 자동화된 그래프 기계학습의 도입과 발전을 촉진하기 위해.

제안 방법

• HPO와 NAS에 중점을 두어 기존의 자동화된 그래프 기계학습 접근법을 서베이하고 분류하기 위해.
• 그래프 신경망을 위한 자동 HPO와 NAS를 지원하는 전용 오픈소스 프레임워크인 AutoGL을 소개하기 위해.
• 그래프 학습에서의 검색 공간, 검색 전략, 성능 추정에 대해 확장 가능한 구성 요소를 갖춘 AutoGL을 설계하기 위해.
• 검색 공간 설계, 검색 전략(예: 강화 학습, 진화 알고리즘), 성능 추정 기법을 기반으로 다양한 NAS 방법을 비교하기 위해.
• 기존의 Cora와 PubMed와 같은 전통적 데이터셋을 넘어서 포괄적인 벤치마크가 필요한 자동화된 그래프 기계학습을 위한 체계적인 평가 프레임워크를 제안하기 위해.
• 실제 구현 환경에서의 효율성과 확장성을 향상시키기 위해 자동화된 그래프 기계학습에 하드웨어 인지 설계 원칙을 통합하기 위해.

실험 결과

연구 질문

• RQ1 자동화된 그래프 기계학습은 최적의 GNN 아키텍처와 초파ram터를 설계하는 데 필요한 수동 작업을 어떻게 줄일 수 있는가?
• RQ2 HPO와 NAS를 대규모 그래프 데이터셋과 실생활 응용에까지 확장할 때의 주요 과제는 무엇인가?
• RQ3 위험 감수성이 높은 도메인에서 자동화된 그래프 기계학습 시스템의 설명 가능성과 내구성을 어떻게 향상시킬 수 있는가?
• RQ4 그래프 기반 모델은 단지 그래프에 자동화된 기계학습을 적용하는 것을 넘어서 자동화된 기계학습 파이프라인을 어떻게 향상시킬 수 있는가?
• RQ5 다양한 벤치마크를 통해 자동화된 그래프 기계학습 방법을 공정하게 비교할 수 있도록 포괄적인 평가 프rotocol를 어떻게 개발할 수 있는가?

주요 결과

• AutoGL는 세계 최초로 자동화된 그래프 기계학습을 위해 특별히 설계된 오픈소스 라이브러리로, 확장 가능한 구성 요소를 통해 HPO와 NAS를 모두 지원한다.
• 기존의 그래프용 HPO 방법, 예를 들어 베이지안 최적화는 대규모 그래프에서 높은 계산 비용으로 인해 확장성에 한계를 가진다.
• 그럼에도 불구하고 잠재력이 크지만 그래프 학습에서의 NAS는 여전히 탐색이 부족하며, 대규모 그래프 데이터셋에 대한 확장성 문제를 다룬 연구는 소수에 불과하다.
• Cora, CiteSeer, PubMed와 같은 기존의 벤치마크는 그래프 AutoML 방법을 평가하는 데에는 부적합하여, 더 포괄적인 신규 벤치마크가 필요하다.
• 설명 가능성과 분포 외 일반화 능력은 여전히 주요 과제이며, 특정 NAS나 HPO 구성이 더 우수한 성능을 내는 이유에 대한 체계적인 연구는 여전히 부족하다.
• 하드웨어 인지 설계가 중요한 방향으로 부상하고 있으나, 하드웨어 인지 모델을 그래프 AutoML 파이프라인에 통합하는 것은 여전히 초보 단계에 머물러 있다.