[논문 리뷰] Simplifying Architecture Search for Graph Neural Network

Huan Zhao, Lanning Wei외 1명|arXiv (Cornell University)|2020. 08. 26.

Advanced Graph Neural Networks참고 문헌 33인용 수 7

한 줄 요약

이 논문은 그래프 신경망(GNN)을 위한 단순화된 신경망 아키텍처 탐색(NAS) 프레임워크인 SNAG을 제안한다. SNAG은 노드 집합자와 레이어 집합자를 통합하여 더 표현력 있고 컴act한 탐색 공간을 도입함으로써, 효율적인 강화학습 기반 아키텍처 탐색을 가능하게 한다. SNAG은 노드 분류 작업에서 최신 기준 성능을 달성하며, 인간이 설계한 GNN과 이전의 NAS 방법인 GraphNAS 및 Auto-GNN을 모두 능가한다. 또한 단순화된 탐색 공간 설계 덕분에 탐색 시간을 크게 단축시킨다.

ABSTRACT

Recent years have witnessed the popularity of Graph Neural Networks (GNN) in various scenarios. To obtain optimal data-specific GNN architectures, researchers turn to neural architecture search (NAS) methods, which have made impressive progress in discovering effective architectures in convolutional neural networks. Two preliminary works, GraphNAS and Auto-GNN, have made first attempt to apply NAS methods to GNN. Despite the promising results, there are several drawbacks in expressive capability and search efficiency of GraphNAS and Auto-GNN due to the designed search space. To overcome these drawbacks, we propose the SNAG framework (Simplified Neural Architecture search for Graph neural networks), consisting of a novel search space and a reinforcement learning based search algorithm. Extensive experiments on real-world datasets demonstrate the effectiveness of the SNAG framework compared to human-designed GNNs and NAS methods, including GraphNAS and Auto-GNN.

연구 동기 및 목표

• 기존의 GNN을 위한 NAS 방법들인 GraphNAS 및 Auto-GNN과 같은 표현력 부족 및 탐색 효율성 문제를 해결하기 위해.
• 이전 연구보다 더 단순하면서도 더 표현력 있는 탐색 공간을 설계하여, 더 넓은 범위의 최신 기준 GNN 모델을 모방할 수 있도록 하기 위해.
• 효율적으로 고성능의 데이터 특화 GNN 아키텍처를 탐색할 수 있는 강화학습 기반의 탐색 알고리즘을 개발하기 위해.
• 레이어 집합자와 가중치 공유가 GNN 아키텍처 탐색의 탐색 효율성과 성능에 미치는 영향을 조사하기 위해.
• 실세계 그래프 데이터셋을 대상으로 광범위한 실험을 통해 제안된 프레임워크의 우수성을 입증하기 위해.

제안 방법

• 통합 메시지 전파 프레임워크에 기반한 새로운 탐색 공간을 제안하며, 노드 집합자(예: GCN, GAT, SAGE-LSTM, GeniePath)와 레이어 집합자(예: CONCAT, MAX, LSTM, IDENTITY, ZERO)를 통합한다.
• 검증 데이터에서 아키텍처 성능를 최적화하기 위해 탐색 공간을 탐색하고 성능을 개선하는 강화학습 기반 탐색 알고리즘을 설계한다.
• 탐색 과정을 가속화하기 위해 가중치 공유를 통합한 변종인 SNAG-WS를 도입하지만, 실험 결과 이는 유의미한 이점을 제공하지 못한다.
• 아키텍처 탐색을 위한 강화학습과 이후에 최고 성능의 아키텍처를 다시 학습하는 두 단계 학습 파이프라인을 사용한다.
• 성능와 효율성의 균형을 위해 모든 실험에서 고정된 3층의 GNN 레이어 깊이를 사용한다.
• 강화학습 루프 내에서 검증 정확도를 보상 신호로 사용하며, 탐색 효율성을 향상시키기 위해 조기 정지 기법을 적용한다.

실험 결과

연구 질문

• RQ1 GraphNAS 및 Auto-GNN과 같은 기존 방법과 비교해 볼 때, 더 단순하면서도 더 표현력 있는 탐색 공간이 GNN 아키텍처 탐색의 성능와 효율성 향상에 기여할 수 있는가?
• RQ2 레이어 집합자는 GNN 아키텍처의 최종 성능에 어떤 영향을 미치며, 최신 기준 결과를 달성하기 위해 필수적인가?
• RQ3 가중치 공유 메커니즘이 GNN NAS의 탐색 과정을 빠르게 하는 데 실제로 유의미한 영향을 미치는가?
• RQ4 제안된 SNAG 프레임워크는 다양한 실세계 그래프 데이터셋에서 인간이 설계한 GNN을 능가하는 아키텍처를 얼마나 잘 탐색할 수 있는가?
• RQ5 SNAG의 탐색 효율성은 GraphNAS와 비교해 수렴 속도와 시간에 따른 정확도 향상 측면에서 어떻게 다른가?

주요 결과

• SNAG은 Cora, PubMed, PPI에서 최신 기준 성능을 달성하며, 각각 88.26% (Cora), 88.77% (PubMed), 98.87% (PPI)의 테스트 정확도를 기록하여 인간이 설계한 GNN과 이전의 NAS 방법을 모두 능가한다.
• CiteSeer에서는 77.07%의 정확도를 기록했으며, 이는 GraphNAS보다 높고 최고의 베이스라인과 유사하여 다양한 데이터셋에서의 일관된 효과성을 입증한다.
• SNAG은 GraphNAS보다 탐색 효율성이 뛰어나, 그림 2에서 보듯이 더 짧은 시간 내에 더 높은 검증 정확도에 도달한다. 이는 단순화된 탐색 공간 덕분이다.
• 탐색 공간에서 레이어 집합자를 제거하면 모든 데이터셋에서 일관된 성능 저하가 발생하며, 이는 레이어 집합자가 아키텍처 표현력에서 핵심적인 역할을 한다는 것을 확인한다.
• 가중치 공유를 적용한 SNAG-WS 변종은 SNAG에 비해 유의미한 성능 향상을 보이지 않으며, 탐색 속도 향상에도 기여하지 않아, NAS 문헌에서 일반적으로 공유되는 가정과 배치된다.
• 제안된 탐색 공간은 GraphNAS와 Auto-GNN에서 제외된 GeniePath 및 SAGE-LSTM와 같은 더 넓은 범위의 GNN 아키텍처를 포함할 수 있음을 성공적으로 입증했다.