[논문 리뷰] Search to aggregate neighborhood for graph neural network

Huan Zhao, Quanming Yao외 1명|arXiv (Cornell University)|2021. 04. 14.

Advanced Graph Neural Networks참고 문헌 52인용 수 26

한 줄 요약

SANE은 미분 가능 신경망 아키텍처 검색을 통해 데이터에 특화된 GNN 아키텍처를 자동으로 설계하고, 여러 데이터셋에서 기준선보다 더 효과적이고 효율적인 모델을 얻습니다.

ABSTRACT

Recent years have witnessed the popularity and success of graph neural networks (GNN) in various scenarios. To obtain data-specific GNN architectures, researchers turn to neural architecture search (NAS), which has made impressive success in discovering effective architectures in convolutional neural networks. However, it is non-trivial to apply NAS approaches to GNN due to challenges in search space design and the expensive searching cost of existing NAS methods. In this work, to obtain the data-specific GNN architectures and address the computational challenges facing by NAS approaches, we propose a framework, which tries to Search to Aggregate NEighborhood (SANE), to automatically design data-specific GNN architectures. By designing a novel and expressive search space, we propose a differentiable search algorithm, which is more efficient than previous reinforcement learning based methods. Experimental results on four tasks and seven real-world datasets demonstrate the superiority of SANE compared to existing GNN models and NAS approaches in terms of effectiveness and efficiency. (Code is available at: https://github.com/AutoML-4Paradigm/SANE).

연구 동기 및 목표

• 데이터셋의 이질성으로 인한 데이터에 특화된 GNN 아키텍처의 필요성을 설득합니다.
• 노드 집계기, 계층 집계기 및 스킵 연결에 초점을 맞춘 GNN용 새로운 표현력 있는 탐색 공간을 제안합니다.
• 제안된 공간을 효율적으로 탐색하기 위한 미분 가능 원샷 NAS 방법을 개발합니다.
• 다수의 실제 데이터셋에서 트랜덕티브, 유도적(inductive) 및 DB 작업에 걸쳐 SANE을 실증적으로 검증합니다.

제안 방법

• 많은 GNN 아키텍처를 모방할 수 있는 노드 집계기, 계층 집계기, 스킵 연결을 포함하는 표현력 있는 탐색 공간을 정의합니다.
• 각 간선이 미리 정의된 집합의 혼합 연산을 가지는 슈퍼넷(DAG)을 구성하고, 후보 연산 위로 소프트맥스 방식으로 이산 선택을 완화합니다.
• 검증 손실에서 최적화되는 아키텍처 매개변수 α와 학습 손실에서 최적화되는 네트워크 가중치 w를 통한 이중 수준 최적화를 형식화합니다.
• 그 후 원샷 미분 가능 NAS를 적용하여 기울기 기반 업데이트로 α를 업데이트하고 표준 학습으로 가중치를 업데이트한 다음 이산 아키텍처를 추출합니다.
• 여러 탐색 실행에서 상위 1개의 아키텍처를 보유하고 최종 평가를 위해 하이퍼파라미터를 조정한 뒤 재학습합니다.

실험 결과

연구 질문

• RQ1 미분 가능 NAS 프레임워크가 수동으로 설계된 모델과 RL 기반 NAS 방법보다 성능이 더 우수한 데이터 특화 GNN 아키텍처를 발견할 수 있을까요?
• RQ2 노드 및 레이어 집계기와 스킵 연결을 포함하는 간결하고 표현력이 풍부한 탐색 공간이 다양한 GNN을 모방하기에 충분합니까?
• RQ3 실제 데이터셋에서의 실용적 GNN 아키텍처 탐색에 대해 원샷 미분 가능 NAS가 충분히 효율적입니까?
• RQ4 발견된 아키텍처는 트랜덕티브, 유도적 및 데이터베이스(DB) 작업에서 어떻게 성능을 발휘합니까?
• RQ5 탐색된 아키텍처가 작업 및 데이터셋 특성에 대한 어떤 설계 선택을 드러냅니까?

주요 결과

• SANE은 다수의 데이터셋에서 트랜덕티브와 유도적 작업에 대해 인간이 설계한 GNN과 NAS 기반 기준선 모두를 일관되게 능가합니다.
• 제안된 표현력 있는 탐색 공간은 SANE이 다양한 아키텍처를 모방하고 데이터에 특화된 구성 찾기를 가능하게 합니다.
• 미분 가능하고 원샷 NAS 접근법은 RL 기반 NAS 방법들에 비해 탐색 효율성을 크게 향상시킵니다.
• SANE이 발견한 아키텍처는 데이터 의존적이며 종종 스킵 연결과 어텐션 기반 집계기를 활용하여 강력한 성능을 달성합니다.
• SANE은 다양한 작업에서 최첨단 성능을 제공하는 동시에 탐색 시간에서 상당한 효율성을 달성합니다.