[논문 리뷰] Evolutionary Architecture Search for Graph Neural Networks

Min Shi, David Wilson외 5명|arXiv (Cornell University)|2020. 09. 21.

Machine Learning and Data Classification참고 문헌 42인용 수 13

한 줄 요약

이 논문은 그래프 신경망(GNN) 아키텍처와 하이퍼파rameter를 교차 진화 과정을 통해 공동 최적화하는 유전적-그래프 신경망(Genetic-GNN)이라는 진화적 아키텍처 탐색 프레임워크를 제안한다. 이는 이행성 및 비이행성 노드 분류 작업에서 최신 강화학습 기반 NAS 방법과 유사한 성능을 달성하며, 자동화된 GNN 설계를 위한 진화 계산의 효과성을 입증한다.

ABSTRACT

Automated machine learning (AutoML) has seen a resurgence in interest with the boom of deep learning over the past decade. In particular, Neural Architecture Search (NAS) has seen significant attention throughout the AutoML research community, and has pushed forward the state-of-the-art in a number of neural models to address grid-like data such as texts and images. However, very litter work has been done about Graph Neural Networks (GNN) learning on unstructured network data. Given the huge number of choices and combinations of components such as aggregator and activation function, determining the suitable GNN structure for a specific problem normally necessitates tremendous expert knowledge and laborious trails. In addition, the slight variation of hyper parameters such as learning rate and dropout rate could dramatically hurt the learning capacity of GNN. In this paper, we propose a novel AutoML framework through the evolution of individual models in a large GNN architecture space involving both neural structures and learning parameters. Instead of optimizing only the model structures with fixed parameter settings as existing work, an alternating evolution process is performed between GNN structures and learning parameters to dynamically find the best fit of each other. To the best of our knowledge, this is the first work to introduce and evaluate evolutionary architecture search for GNN models. Experiments and validations demonstrate that evolutionary NAS is capable of matching existing state-of-the-art reinforcement learning approaches for both the semi-supervised transductive and inductive node representation learning and classification.

연구 동기 및 목표

• 전문 지식과 광범위한 하이퍼파ram터 튜닝이 필요한 수동적이고 시간이 오래 소요되는 GNN 아키텍처 설계의 과제를 해결하기 위해.
• 그래프 구조 데이터에 최적의 성능을 내기 위해 GNN 아키텍처와 학습 파라미터를 공동으로 진화시키는 자동화된 프레임워크를 개발하기 위해.
• 진화 계산이 GNN 구성 요소(집합기, 활성화 함수, 하이퍼파ram터 등)의 거대한 공간을 효과적으로 탐색할 수 있고, 강화학습 기반 NAS 방법을 능가하거나 이를 충족시킬 수 있는지 평가하기 위해.
• GNN 맥락에서 모델 아키텍처와 하이퍼파ram터 간의 교차 진화가 얼마나 타당하고 효과적인지 입증하기 위해.

제안 방법

• GNN 아키텍처 구성 요소(예: 집합기 유형, 활성화 함수)와 하이퍼파aram터(예: 학습률, 드롭아웃 비율)를 동시에 진화시키는 기반 유전자 알고리즘 프레임워크인 Genetic-GNN을 제안한다.
• 검증 정확도와 모델 복잡도를 균형 잡는 피트니스 함수를 사용하며, 이 균형은 균형 파라미터 α로 제어한다.
• 교차 진화 전략을 적용: 먼저 아키텍처 집단을 진화시키고, 고정된 아키텍처에 대해 하이퍼파라미터 집단을 각각 진화시켜 상호 적응을 가능하게 한다.
• 각 개체가 레이어 유형, 활성화 함수, 하이퍼파라미터를 포함한 완전한 GNN 구성 정보를 인코딩한 후보 모델 집단을 유지한다.
• 다수의 세대에 걸쳐 선택, 교차, 변이 연산자를 적용하여 집단을 진화시켜 피트니스를 향상시킨다.
• 동일한 아키텍처를 가진 개체 간에 파라미터 공유를 도입하여 학습 중 계산 비용을 절감한다.

실험 결과

연구 질문

• RQ1 유전자 알고리즘이 GNN 아키텍처와 하이퍼파라미터의 광범위한 공간을 효과적으로 탐색하여 고성능 모델을 찾을 수 있는가?
• RQ2 고정된 하이퍼파라미터를 가진 아키텍처 최적화와 달리, GNN 아키텍처와 하이퍼파라미터를 동시에 진화시키는 것이 더 높은 성능을 내는가?
• RQ3 기본 GNN 벤치마크에서 GraphNAS와 Auto-GNN 같은 강화학습 기반 NAS 방법과 비교해 본다면, 제안된 Genetic-GNN의 성능는 어떠한가?
• RQ4 인구 수와 진화 세대 수와 같은 핵심 알고리즘 파라미터가 최종 모델 성능에 미치는 영향은 어떠한가?
• RQ5 아키텍처와 하이퍼파라미터 간의 교차 진화 과정이 더 견고하고 자동화된 GNN 설계 파이프라인을 가능하게 하는가?

주요 결과

• Genetic-GNN는 최신 강화학습 기반 NAS 방법과 유사한 성능를 달성하며, t-검정에서 p-값이 0.05로 통계적으로 유의미한 차이가 없음을 확인하였다.
• 수동으로 설계된 GNN 모델에 비해, 자동화된 NAS 방법(포함해 Genetic-GNN)이 세 가지 데이터셋(Cora, Citeseer, PPI)에서 모두 뛰어난 성능를 보였으며, 자동 탐색의 가치를 확인하였다.
• 피트니스 함수의 최적 균형 파라미터 α는 Cora와 Citeseer 모두 0.6으로 나타나 정확도와 복잡도 간의 강한 트레이드오프를 반영한다.
• 성능는 인구 수가 증가함에 따라 처음에는 향상되지만, 더 큰 크기에서는 수렴에 더 많은 세대가 필요해지므로 성능가 감소하는 경향을 보였다.
• 진화 세대가 진행될수록 성능가 지속적으로 향상되었으며, 소수의 변동이 있더라도 검증 및 테스트 정확도가 일관되게 향상되었다.
• 프레임워크는 확장 가능성을 보이며, 더 큰 인구 수와 더 많은 진화 세대를 통해 성능를 추가로 향상시킬 수 있다.