[논문 리뷰] AutoGL: A Library for Automated Graph Learning

Ziwei Zhang, Yijian Qin외 12명|arXiv (Cornell University)|2021. 04. 11.

Advanced Graph Neural Networks인용 수 12

한 줄 요약

AutoGL은 그래프 기반 자동 머신러닝을 전용으로 다루는 최초의 오픈소스 라이브러리로, 자동 특성 공학, 신경망 아키텍처 탐색, 하이퍼파ram터 최적화, 모델 훈련, 자동 앙상블을 지원하는 모듈식이고 확장 가능한 3계층 아키텍처를 제공한다. 이 라이브러리는 PyTorch Geometric 및 DGL와 통합되어 10줄 이내의 코드로 빠른 실험을 가능하게 하며, 그래프 신경망 아키텍처 탐색을 위한 첫 번째 표형 벤치마크인 NAS-Bench-Graph를 포함하고 있어 재현 가능하고 효율적인 NAS를 최소한의 계산 비용으로 수행할 수 있다.

ABSTRACT

Recent years have witnessed an upsurge in research interests and applications of machine learning on graphs. However, manually designing the optimal machine learning algorithms for different graph datasets and tasks is inflexible, labor-intensive, and requires expert knowledge, limiting its adaptivity and applicability. Automated machine learning (AutoML) on graphs, aiming to automatically design the optimal machine learning algorithm for a given graph dataset and task, has received considerable attention. However, none of the existing libraries can fully support AutoML on graphs. To fill this gap, we present Automated Graph Learning (AutoGL), the first dedicated library for automated machine learning on graphs. AutoGL is open-source, easy to use, and flexible to be extended. Specifically, we propose a three-layer architecture, consisting of backends to interface with devices, a complete automated graph learning pipeline, and supported graph applications. The automated machine learning pipeline further contains five functional modules: auto feature engineering, neural architecture search, hyper-parameter optimization, model training, and auto ensemble, covering the majority of existing AutoML methods on graphs. For each module, we provide numerous state-of-the-art methods and flexible base classes and APIs, which allow easy usage and customization. We further provide experimental results to showcase the usage of our AutoGL library. We also present AutoGL-light, a lightweight version of AutoGL to facilitate customizing pipelines and enriching applications, as well as benchmarks for graph neural architecture search. The codes of AutoGL are publicly available at https://github.com/THUMNLab/AutoGL.

연구 동기 및 목표

• 그래프 기반 자동 머신러닝을 위한 전용이고 종합적인 라이브러리의 부족을 해결하기 위해.
• 다양한 데이터셋과 작업에 최적의 그래프 학습 알고리즘을 설계하기 위해 수동 작업과 전문 지식을 최소화하기 위해.
• 자동 그래프 학습 분야에서의 연구 및 응용 개발을 위한 유연하고 확장 가능하며 재현 가능한 환경을 제공하기 위해.
• PyTorch Geometric 및 DGL와 같은 주요 그래프 학습 라이브러리와 호환되는 통합적이고 사용자 友好的한 프레임워크를 제공하기 위해.
• NAS-Bench-Graph를 도입하여 그래프 신경망 아키텍처 탐색을 위한 첫 번째 표형 벤치마크를 제공함으로써 재현 가능성과 NAS 방법 간의 효율적 비교를 보장하기 위해.

제안 방법

• AutoGL은 디바이스 인터페이싱을 위한 백엔드(파이토치 지오메트릭 및 DGL), 완전한 자동 그래프 학습 파이프라인, 지원되는 그래프 응용 프로그램으로 구성된 3계층 아키텍처를 구현한다.
• 파이프라인에는 자동 특성 공학, 신경망 아키텍처 탐색(NAS), 하이퍼파ram터 최적화(HPO), 모델 훈련, 자동 앙상블의 다섯 가지 핵심 모듈이 포함되어 있으며, 각 모듈은 표준화된 기본 클래스와 API를 제공한다.
• AutoGL 솔버는 전체 워크플로우를 조율하는 고수준 API로, 복잡한 설정을 단순하고 조합 가능한 인터페이스로 추상화한다.
• 이 라이브러리는 노드 분류, 링크 예측, 그래프 분류, 자기지도 학습, 내성적 학습, 이질적 노드 분류 등 다양한 그래프 작업을 지원한다.
• NAS-Bench-Graph는 성능 추정기로 통합되어, 9개의 벤치마크 데이터셋에서 26,206개의 고유한 GNN 아키텍처에 대한 메트릭을 사전 계산하고 저장한다.
• AutoGL-light는 새로운 파이프라인 개발을 위한 간편한 커스터마이제이션과 빠른 프로토타이핑을 목적으로 한 경량이고 모듈식 버전의 AutoGL이다.

실험 결과

연구 질문

• RQ1 통합적이고 확장 가능하며 사용자 친화적인 라이브러리를 통해 그래프 기반 자동 머신러닝을 체계적으로 어떻게 지원할 수 있는가?
• RQ2 PyTorch Geometric 및 DGL와 같은 기존 그래프 학습 라이브러리가 AutoML 프레임워크 내에서 효율적으로 통합될 수 있는 아키텍처 설계는 무엇인가?
• RQ3 그래프 신경망 아키텍처 탐색을 위한 표형 벤치마크가 재현 가능성과 NAS 연구의 효율성을 향상시킬 수 있는가?
• RQ4 AutoGL은 사용자가 최소한의 코드와 계산 오버헤드로 종단 간 자동 그래프 학습을 어떻게 수행할 수 있도록 지원하는가?
• RQ5 AutoGL에 NAS-Bench-Graph를 통합함으로써 그래프 신경망을 위한 신경망 아키텍처 탐색이 얼마나 가속화되고 표준화되는가?

주요 결과

• AutoGL을 사용하면 연구자와 실무자들이 10줄 이내의 코드로 자동 그래프 학습을 수행할 수 있어 진입 장벽을 크게 낮춘다.
• 이 라이브러리는 자동 특성 공학, NAS, HPO, 모델 훈련, 자동 앙상블을 포함한 완전한 파이프라인을 지원하며, 모든 모듈에서 최신 기법을 통합한다.
• NAS-Bench-Graph는 9개의 다양한 데이터셋에서 26,206개의 고유한 GNN 아키텍처에 대한 사전 계산된 성능 메트릭을 제공하여 빠르고 재현 가능한 NAS를 가능하게 한다.
• NAS-Bench-Graph를 사용함으로써 AutoGL은 전체 훈련을 대체하여 벤치마크에서의 성능 추정을 통해 최소한의 계산 비용으로 NAS를 실행할 수 있도록 한다.
• NAS-Bench-Graph와 AutoGL의 통합을 통해 GraphNAS 및 AutoGNN와 같은 NAS 방법 간의 직접 비교와 재현 가능한 평가가 가능해졌으며, 결과는 GitHub에서 재현 가능하다.
• AutoGL-light는 커스터마이제이션에 용이하고 확장 가능하며 경량적인 대안을 제공하여 고급 사용자를 위한 유연성을 향상시킨다.