[논문 리뷰] Rethinking Graph Neural Architecture Search from Message-passing

Shaofei Cai, Liang Li외 5명|arXiv (Cornell University)|2021. 03. 26.

Advanced Graph Neural Networks참고 문헌 40인용 수 7

한 줄 요약

이 논문은 메시지 전파 메커니즘에서 재고하는 그래프 신경망 아키텍처 탐색(GNAS)을 제안한다. 특성 필터링과 이웃 집합화라는 세밀한 원자 연산을 갖춘 트리 구조 계산 프레임워크를 설계함으로써, GNAS는 최적의 메시지 전파 깊이를 갖는 그래프 신경망 아키텍처를 자동으로 발견한다. 실험 결과, 노드 분류, 링크 예측, 그래프 회귀 작업에서 다섯 개인 대규모 데이터셋에서 최신 수준의 수작업 및 탐색 기반 그래프 신경망을 능가하는 성능을 보이며, 더 낮은 깊이와 계산 비용으로도 뛰어난 정확도를 달성한다.

ABSTRACT

Graph neural networks (GNNs) emerged recently as a standard toolkit for learning from data on graphs. Current GNN designing works depend on immense human expertise to explore different message-passing mechanisms, and require manual enumeration to determine the proper message-passing depth. Inspired by the strong searching capability of neural architecture search (NAS) in CNN, this paper proposes Graph Neural Architecture Search (GNAS) with novel-designed search space. The GNAS can automatically learn better architecture with the optimal depth of message passing on the graph. Specifically, we design Graph Neural Architecture Paradigm (GAP) with tree-topology computation procedure and two types of fine-grained atomic operations (feature filtering and neighbor aggregation) from message-passing mechanism to construct powerful graph network search space. Feature filtering performs adaptive feature selection, and neighbor aggregation captures structural information and calculates neighbors' statistics. Experiments show that our GNAS can search for better GNNs with multiple message-passing mechanisms and optimal message-passing depth. The searched network achieves remarkable improvement over state-of-the-art manual designed and search-based GNNs on five large-scale datasets at three classical graph tasks. Codes can be found at https://github.com/phython96/GNAS-MP.

연구 동기 및 목표

• 메시지 전파 메커니즘과 깊이를 선택하기 위해 광범위한 인간 전문 지식이 요구되는 수작업 그래프 신경망 설계의 한계를 해결하기 위해.
• 신경망이 너무 깊어지면 성능 저하가 발생하기 쉬운, 수작업으로 깊이를 나열하는 데 높은 계산 비용이 수반되는 문제를 해결하기 위해.
• 기존의 그래프 신경망에 국한되지 않고, 기본적인 메시지 전파 메커니즘에서 유도된 탐색 공간을 개발하여 더 높은 표현력과 성능을 달성하기 위해.
• 기울기 기반의 탐색 전략을 통해 메시지 전파 깊이를 자동으로 탐색할 수 있도록 하기 위해.

제안 방법

• 특성 필터링과 이웃 집합화 두 가지 유형의 세밀한 원자 연산을 갖춘 트리 구조 계산 절차를 기반으로 한 그래프 신경망 아키텍처 패러다임(GAP)을 제안한다.
• 적응형 특성 선택을 수행하기 위해 게이팅 메커니즘을 사용하여 특성 필터링을 설계함으로써 표현 학습을 향상시킨다.
• 합산, 평균, 최댓값 연산을 사용하여 이웃 집합화를 도입함으로써 구조적 정보와 이웃 통계를 포착한다.
• 세 단계의 탐색 공간을 구성하여 원자 연산의 다양한 조합을 통해 다양한 그래프 신경망 아키텍처를 형성할 수 있도록 한다.
• 기울기 기반 탐색 전략을 활용하여 아키텍처 파라미터를 효율적으로 최적화하고, 엔드 투 엔드로 미분 가능한 아키텍처 탐색을 가능하게 한다.
• 기울기 흐름과 아키텍처 및 모델 가중치의 동시 최적화를 가능하게 하기 위해 아키텍처 탐색 공간의 미분 가능한 리프레젠테이션을 사용한다.

실험 결과

연구 질문

• RQ1 기존의 탐색 방법이 사전 학습된 그래프 신경망을 연산으로 재사용하는 것과 달리, 메시지 전파 메커니즘에서 직접 파생된 탐색 공간이 성능 면에서 뛰어나게 되는가?
• RQ2 제안된 GNAS 프레임워크가 수작업으로 깊이를 나열하는 데 의존하지 않고, 최적의 메시지 전파 깊이를 자동으로 탐색하는가?
• RQ3 다양한 그래프 학습 작업에서 GNAS의 성능은 최신 수준의 수작업 설계 및 탐색 기반 그래프 신경망과 비교해 어떻게 되는가?
• RQ4 GNAS가 선호하는 아키텍처 구성 요소(예: 집합화 유형, 필터 유형)는 무엇이며, 이는 데이터셋에 따라 어떻게 달라지는가?
• RQ5 기존 방법보다 더 적은 파라미터와 더 짧은 학습 시간으로도 GNAS는 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• GNAS는 노드 분류, 링크 예측, 그래프 성질 회귀라는 세 가지 고전적 그래프 작업에서 다섯 개의 대규모 데이터셋에서 최신 수준의 성능을 달성한다.
• 그래프 회귀 작업을 위한 ZINC 데이터셋에서, 12층으로 구성된 GNAS는 MAE 0.242를 기록하며, 더 깊은 모델(예: 16층의 GatedGCN, MAE 0.340)과 GraphNAS(120시간의 탐색 시간 필요)를 모두 능가한다.
• ZINC에서 GNAS가 탐색한 최적의 메시지 전파 깊이는 12에서 14 사이이며, 이는 이 범위에서 성능이 최고조에 이르는 것으로 확인된 바와 일치한다.
• GNAS는 항상 합산 및 평균 집합화보다 최댓값 집합화를 선호함으로써, 대표적인 노드 특징을 포착하는 데서 유리함을 보여준다.
• 탐색 과정은 효율적이다: GNAS는 ZINC에서 아키텍처 탐색을 단 1.75시간 내에 완료하며, 이는 GraphNAS(120시간)보다 훨씬 빠르며, 더 뛰어난 성능을 달성한다.
• CIFAR10에서는 MNIST보다 더 높은 복잡도의 노드 특징을 반영하여, GNAS가 더 자주 밀도 높은 필터를 선호한다.