[논문 리뷰] NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search

Yijian Qin, Ziwei Zhang외 3명|arXiv (Cornell University)|2022. 06. 18.

Advanced Graph Neural Networks인용 수 12

한 줄 요약

이 논문은 그래프 신경망 아키텍처 탐색(GNNAS)를 위한 최초의 벤치마크인 NAS-Bench-Graph를 소개한다. 이는 통합적이고 재현 가능하며 효율적인 평가를 가능하게 하며, 아키텍처를 재학습하지 않고도 성능을 조회할 수 있도록 26,206개의 고유한 GNN 아키텍처를 9개의 데이터셋에서 사전 학습 및 평가한다. 이로 인해 계산 부담을 제거하고, 다양한 방법 간의 공정한 비교를 보장한다.

ABSTRACT

Graph neural architecture search (GraphNAS) has recently aroused considerable attention in both academia and industry. However, two key challenges seriously hinder the further research of GraphNAS. First, since there is no consensus for the experimental setting, the empirical results in different research papers are often not comparable and even not reproducible, leading to unfair comparisons. Secondly, GraphNAS often needs extensive computations, which makes it highly inefficient and inaccessible to researchers without access to large-scale computation. To solve these challenges, we propose NAS-Bench-Graph, a tailored benchmark that supports unified, reproducible, and efficient evaluations for GraphNAS. Specifically, we construct a unified, expressive yet compact search space, covering 26,206 unique graph neural network (GNN) architectures and propose a principled evaluation protocol. To avoid unnecessary repetitive training, we have trained and evaluated all of these architectures on nine representative graph datasets, recording detailed metrics including train, validation, and test performance in each epoch, the latency, the number of parameters, etc. Based on our proposed benchmark, the performance of GNN architectures can be directly obtained by a look-up table without any further computation, which enables fair, fully reproducible, and efficient comparisons. To demonstrate its usage, we make in-depth analyses of our proposed NAS-Bench-Graph, revealing several interesting findings for GraphNAS. We also showcase how the benchmark can be easily compatible with GraphNAS open libraries such as AutoGL and NNI. To the best of our knowledge, our work is the first benchmark for graph neural architecture search.

연구 동기 및 목표

• 그래프NAS 연구에서 표준화된 실험 설정의 부족으로 인해 발생하는 공정하고 재현 가능한 비교의 어려움을 해결하기 위해.
• 그래프NAS의 높은 계산 비용으로 인해 대규모 컴퓨팅 자원이 없는 연구자들에게 접근성이 떨어지는 문제를 해결하기 위해.
• 다양하고 대표적인 모델을 포함하는 통합적이고 표현력 있으며 압축된 검색 공간을 구축하기 위해.
• 모든 아키텍처에 대해 정확도, 지연 시간, 파라미터 수와 같은 세부 지표를 포함한 사전 평가된 벤치마크를 제공하여 즉각적인 성능 조회를 가능하게 하기 위해.
• AutoGL 및 NNI와 같은 기존 그래프NAS 라이브러리와의 호환성을 입증하여 다양한 검색 전략과의 통합 가능성을 검증하기 위해.

제안 방법

• 7개의 GNN 연산을 체계적으로 조합하는 제약 조건이 있는 방향성 비순환 그래프(DAG) 기반의 마크로 검색 공간을 설계하여 총 26,206개의 고유한 GNN 아키텍처를 도출한다.
• 9개의 대표적인 그래프 데이터셋을 대상으로 표준화된 데이터셋 분할, 하이퍼파ram터 설정 및 학습 절차를 포함하는 원칙적인 평가 프로토콜을 정의한다.
• 모든 26,206개의 아키텍처를 9개의 데이터셋 각각에 대해 학습 및 평가하며, 에포크 단위의 메트릭(학습/검증/테스트 정확도, 지연 시간, 모델 크기)을 기록한다.
• 모든 성능 메트릭을 저장하는 룩업 테이블을 구축하여 재학습 없이도 아키텍처 성능에 즉각 액세스할 수 있도록 한다.
• 통계 분석(예: ANOVA의 에타 제곱)을 적용하여 아키텍처 구성 요소의 중요도를 평가하며, 특히 깊이 있는 층과 浅은 층의 영향을 분석한다.
• AutoGL 및 NNI와의 통합을 통해 다양한 검색 알고리즘(랜덤 서치, 진화 알고리즘, 강화 학습 포함)과의 호환성과 사용성 검증을 수행한다.

실험 결과

연구 질문

• RQ1 GNN 아키텍처의 성능 분포는 다양한 데이터셋 간에 어떻게 달라지며, 높은 성능을 보이는 아키텍처의 빈도는 어떠한가?
• RQ2 깊이 있는 층의 아키텍처 선택이 얕은 층의 선택보다 최종 모델 성능에 얼마나 큰 영향을 미치는가?
• RQ3 최고 성능을 보이는 아키텍처들이 서로 다른 그래프 데이터셋 간에 얼마나 이식 가능하며, 교차 데이터셋 상관관계는 어떠한가?
• RQ4 이 벤치마크는 랜덤 서치, 강화 학습, 진화 알고리즘을 포함한 다양한 그래프NAS 방법 간의 효율적이고 공정한 비교를 지원할 수 있는가?
• RQ5 아키텍처-성능 지도는 얼마나 부드럽고, 이는 변형 기반 검색 전략의 사용을 지원하는가?

주요 결과

• 높은 성능을 보이는 GNN 아키텍처는 흔치 않으며, 강력한 성능를 보이는 아키텍처들은 다양한 지연 시간 프로파일을 보이며 정확도와 효율성 사이의 트레이드오프를 나타낸다.
• 아키텍처의 성능는 얕은 층보다 깊은 층의 선택에 더 크게 영향을 받으며, 이는 역순 그룹화에서 더 높은 에타 제곱 값으로 입증된다.
• 아키텍처 성능의 교차 데이터셋 상관관계는 약하며, 이는 한 데이터셋에서 최고 성능을 내는 모델을 다른 데이터셋으로 이식하는 것이 최적의 결과를 낳을 가능성이 낮음을 시사한다.
• 아키텍처 공간은 변형 기반 검색 전략을 지원할 정도로 충분히 부드럽다. 이는 그래프NAS에서 진화 알고리즘의 사용을 뒷받침한다.
• 일부 데이터셋에서 랜덤 서치가 더 복잡한 방법들보다 뛰어난 성능를 보이며, 현재의 검색 전략이 성능 지도를 충분히 활용하지 못하고 있음을 시사한다.
• 모든 평가된 NAS 방법(랜덤 서치, 진화 알고리즘, 강화 학습)이 상위 5퍼센트 아키텍처의 성능를 초월하며, 이는 벤치마크가 성능 패턴을 효과적으로 학습할 수 있음을 보여준다.