[논문 리뷰] mGNN: Generalizing the Graph Neural Networks to the Multilayer Case

Marco Grassia, Manlio De Domenico외 1명|arXiv (Cornell University)|2021. 09. 21.

Advanced Graph Neural Networks참고 문헌 57인용 수 9

한 줄 요약

이 논문은 그래프 신경망(GNNs)을 다층 네트워크로 일반화하기 위해 독립적이고 확장 가능한 노드 특징 전파를 인레이어 및 아웃레이어 연결을 통해 가능하게 하는 일반적 프레임워크 mGNN을 소개한다. 이 프레임워크는 계산 오버헤드 없이 어떤 GNN 아키텍처에도 적용 가능하며, 실제 다층 데이터셋에서 노드 분류, 링크 예측, 네트워크 분류 작업 전반에서 뛰어난 성능을 기록한다. 링크 예측에서는 83.3%의 F1 스코어, 슈퍼 디퓨전 예측에서는 89.2%의 테스트 정확도를 달성한다.

ABSTRACT

Networks are a powerful tool to model complex systems, and the definition of many Graph Neural Networks (GNN), Deep Learning algorithms that can handle networks, has opened a new way to approach many real-world problems that would be hardly or even untractable. In this paper, we propose mGNN, a framework meant to generalize GNNs to the case of multi-layer networks, i.e., networks that can model multiple kinds of interactions and relations between nodes. Our approach is general (i.e., not task specific) and has the advantage of extending any type of GNN without any computational overhead. We test the framework into three different tasks (node and network classification, link prediction) to validate it.

연구 동기 및 목표

• 복잡한 시스템에서 다중 상호작용 유형을 모델링하는 데 점점 더 널리 사용되는 다층 네트워크에 대해 기하학적 딥러닝 도구의 부족을 해결하기 위해.
• 기존 GNN 아키텍처를 수정하거나 계산 오버헤드 없이도 일반 목적의 프레임워크를 개발하여 다층 네트워크로 확장하기 위해.
• 실제 다층 네트워크에서 노드 분류, 링크 예측, 네트워크 분류 등의 다양한 작업에 대해 프레임워크를 검증하기 위해.
• 크고 다양한 수의 노드와 레이어를 가진 다층 네트워크에서도 일반화 및 확장성의 가능성을 입증하기 위해.

제안 방법

• 프레임워크는 인레이어 및 아웃레이어 연결을 통합한 슈프라-인cidency 행렬을 구성하여 모든 레이어에 걸쳐 통합된 메시지 전달을 가능하게 한다.
• 인레이어 및 아웃레이어 전파에 동일한 GNN 레이어(예: GAT)를 사용하며, 동일한 노드의 레이어 간 복제본 간 공유 파라미터를 적용한다.
• 이웃 노드의 특징을 레이어 내외에서 집계하는 메시지 전달을 통해 노드 표현을 업데이트하며, 구조적 및 특징 정보를 유지한다.
• 아웃레이어 연결은 동일한 노드의 서로 다른 레이어 간 복제본 간의 연결로 모델링되어, 레이어 간 정보 교환을 가능하게 한다.
• 전역 풀링 레이어(예: 전역 소프트 어텐션)는 레이어 간 노드 임베딩을 집계하여 분류 작업을 위한 네트워크 수준의 표현을 생성한다.
• 프레임워크는 어떤 GNN 아키텍처와도 호환되며, 표준 트레이닝 절차(백프로파게이션 및 표준 초모델 하이퍼파라미터를 사용한 최적화 포함)를 지원한다.

실험 결과

연구 질문

• RQ1 일반 목적의 프레임워크가 계산 오버헤드 없이도 기존 GNN을 다층 네트워크로 확장할 수 있는가?
• RQ2 노드 분류, 링크 예측, 네트워크 분류와 같은 다층 네트워크 작업에서 프레임워크의 성능은 어떠한가?
• RQ3 이전 모델이 재학습이 필요로 하는 것과 달리, 다양한 수의 노드와 레이어를 가진 네트워크 간에 일반화가 가능한가?
• RQ4 인레이어 모델에 비해 아웃레이어 연결의 포함이 성능 향상에 뚜렷한 기여를 하는가?

주요 결과

• 링크 예측 작업에서 유튜브 레이어에서 mGNN 프레임워크는 F1 스코어 0.833과 AUC 0.829를 기록하여 누락된 링크를 예측하는 데 강력한 성능을 보였다.
• 프렌드피드 레이어에서는 F1 스코어 0.819와 AUC 0.811을 기록하여 다양한 유형의 다층 네트워크에서 일관된 성능을 확인했다.
• 슈퍼 디퓨전 예측 작업에서는 89.2%의 테스트 정확도와 AUC 0.911을 달성하여 슈프라-인사이던시 매트릭스를 기반으로 한 이전의 CNN 기반 모델을 능가했다.
• 노드 및 레이어 수가 다른 네트워크 간에도 효과적으로 일반화되었으며, 이전 접근 방식보다 훨씬 적은 학습 예제가 필요했다.
• GAT 기반 아키텍처를 사용하여 말라리아 관련 유전적 다층 네트워크에서 높은 수준의 노드 분류 성능를 기록했다.
• 제거 실험을 통해 인레이어 및 아웃레이어 메시지 전달이 성능에 기여하며, 특히 아웃레이어 연결이 일반화 능력을 향상시킨다는 점을 확인했다.