[논문 리뷰] Graph Property Prediction on Open Graph Benchmark: A Winning Solution by Graph Neural Architecture Search

Xu Wang, Huan Zhao외 2명|arXiv (Cornell University)|2022. 07. 13.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프 속성 예측을 위한 최적의 그래프 신경망 아키텍처를 자동으로 탐색하기 위해 풀링 아키텍처 검색(PAS)과 F²GNN을 조합한 신경망 아키텍처 탐색(NAS) 프레임워크를 제안한다. 학습 가능한 특징 융합을 통해 집합 함수와 GNN 구조를 동시에 탐색함으로써, 세 가지 OGB 벤치마크 데이터셋—ogbg-molhiv, ogbg-molpcba, ogbg-ppa—에서 최신 기술 수준(SOTA) 성능을 달성하며, 고정된 아키텍처 모델을 능가하고 분자의 및 생물학적 그래프 작업 전반에 걸쳐 뛰어난 일반화 능력을 보여준다.

ABSTRACT

Aiming at two molecular graph datasets and one protein association subgraph dataset in OGB graph classification task, we design a graph neural network framework for graph classification task by introducing PAS(Pooling Architecture Search). At the same time, we improve it based on the GNN topology design method F2GNN to further design the feature selection and fusion strategies, so as to further improve the performance of the model in the graph property prediction task while overcoming the over smoothing problem of deep GNN training. Finally, a performance breakthrough is achieved on these three datasets, which is significantly better than other methods with fixed aggregate function. It is proved that the NAS method has high generalization ability for multiple tasks and the advantage of our method in processing graph property prediction tasks.

연구 동기 및 목표

• 다양한 그래프 유형에 걸쳐 그래프 속성 예측을 위한 최적의 GNN 아키텍처를 설계하는 데 도전하는 것.
• 학습 가능한 특징 융합을 통해 적응형 아키텍처 탐색을 통해 깊은 GNN에서의 과도한 스무딩 문제를 극복하는 것.
• 외부 데이터셋을 사용하지 않고 OGB의 그래프 수준 분류 벤치마크에서 성능을 향상시키는 것.
• 신경망 아키텍처 탐색(NAS)이 여러 그래프 학습 작업 전반에 걸쳐 일반화 능력을 보이는지 입증하는 것.

제안 방법

• 풀링 연산과 집합 함수를 위한 미분 가능 탐색 프레임워크를 풀링 아키텍처 검색(PAS)을 통해 도입한다.
• PAS를 F²GNN로 강화하여, 미분 가능한 연산을 통해 최적의 GNN 연결 패턴을 학습하는 구조 탐색 방법을 제공한다.
• 깊은 GNN에서 노드 표현의 분류 능력을 유지하기 위해 학습 가능한 특징 선택 및 융합 메커니즘을 적용한다.
• 표현력을 향상시키기 위해 다수의 GAT 변종과 잔차 유사 연결 패턴을 포함하는 탐색 공간을 사용한다.
• 두 단계 탐색을 적용한다: 첫 번째로 각 레이어의 집합 함수를 최적화하고, 두 번째로 F²GNN를 활용해 깊은 모델의 구조를 탐색한다.
• 메시지 전달 함수와 그래프 구조를 동시에 최적화하기 위해 미분 가능한 아키텍처 탐색을 활용하여 더 강한 인덕티브 바이어스를 향상시킨다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색(NAS)이 다양한 그래프 유형의 그래프 속성 예측 작업에서 고정된 GNN 아키텍처를 능가할 수 있는가?
• RQ2 PAS와 F²GNN의 조합이 깊은 GNN에서의 과도한 스무딩 문제를 얼마나 효과적으로 완화하는가?
• RQ3 제안된 방법이 작업별 특화된 아키텍처 튜닝 없이도 분자의 및 생물학적 그래프 데이터셋 전반에 걸쳐 일반화 가능한가?
• RQ4 학습 가능한 특징 융합과 적응형 구조 설계가 OGB와 같은 대규모 그래프 벤치마크에서 성능 향상에 기여하는가?
• RQ5 외부 데이터를 사용하지 않을 경우 아키텍처 탐색이 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 ogbg-molhiv에서 테스트 ROC-AUC 0.8420 ± 0.0015로 1위를 기록하며, Graphormer와 CIN을 능가했다.
• ogbg-molpcba에서 테스트 AP 0.3147 ± 0.0015를 기록하여 PAS(0.3012)와 다른 SOTA 모델을 크게 앞섰다.
• ogbg-ppa에서는 테스트 정확도 82.01%를 달성하여 ExpC*(81.40%)와 PAS(78.28%)를 상당한 격차로 앞섰다.
• PAS에 F²GNN 통합으로 인해 세 데이터셋 모두에서 성능 향상이 확인되었으며, 깊은 GNN에서의 구조 탐색의 가치를 입증했다.
• 외부 데이터셋을 사용하지 않고도 SOTA 성능를 달성하여, 실제 그래프 학습 환경에서의 효과성과 일반화 능력을 입증했다.
• 절단 실험 결과, PAS와 F²GNN가 각각 독립적으로나 상호 보완적으로 성능 향상에 기여하고 있음을 확인했다.