[논문 리뷰] Cooperative Graph Neural Networks

Ben Finkelshtein, Xingyue Huang외 2명|arXiv (Cornell University)|2023. 10. 02.

Advanced Graph Neural NetworksComputer Science인용 수 3

한 줄 요약

이 논문은 각 노드가 '청취', '방송', '청취 및 방송', 또는 '고립' 중 하나의 동작을 선택하여 정보 흐름을 적응적으로 제어하는 협동적 그래프 신경망(CO-GNNs)이라는 새로운 GNN 프레임워크를 소개한다. 이 방법은 합성 및 실세계 벤치마크에서 표준 GNN보다 뛰어난 성능을 보이며, 과도한 스무딩과 과도한 압축을 완화하는 유연하고 구조 인식 메시지 전달을 가능하게 하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph neural networks are popular architectures for graph machine learning, based on iterative computation of node representations of an input graph through a series of invariant transformations. A large class of graph neural networks follow a standard message-passing paradigm: at every layer, each node state is updated based on an aggregate of messages from its neighborhood. In this work, we propose a novel framework for training graph neural networks, where every node is viewed as a player that can choose to either 'listen', 'broadcast', 'listen and broadcast', or to 'isolate'. The standard message propagation scheme can then be viewed as a special case of this framework where every node 'listens and broadcasts' to all neighbors. Our approach offers a more flexible and dynamic message-passing paradigm, where each node can determine its own strategy based on their state, effectively exploring the graph topology while learning. We provide a theoretical analysis of the new message-passing scheme which is further supported by an extensive empirical analysis on a synthetic dataset and on real-world datasets.

연구 동기 및 목표

• 표준 메시지 전달 GNN의 한계, 즉 과도한 스무딩과 과도한 압축을 해결하기 위해 정보 흐름을 동적으로 노드 수준에서 제어할 수 있도록 한다.
• 노드가 자신의 상태에 따라 청취, 방송, 또는 고립을 자율적으로 결정할 수 있도록 하여 고정적이고 대칭적인 메시지 전달 패러다임을 초월한다.
• 전략 선택과 작업 성능을 동시에 최적화하기 위해 액션 네트워크와 환경 네트워크를 공동으로 훈련하는 협동 프레임워크를 개발한다.
• 제안된 프레임워크가 1-WL 그래프 이sovorphism 테스트보다 더 표현력이 뛰어나고 장거리 의존성 작업에 더 적합하다는 것을 입증한다.
• 합성 및 실세계 데이터셋에서 경험적으로 접근을 검증하여 기준 GNN보다 일관되게 향상된 성능을 보인다.

제안 방법

• 각 노드를 각 층에서 네 가지 동작 중 하나를 선택하는 플레이어로 모델링한다: LISTEN, BROADCAST, STANDARD(청취 및 방송), 또는 ISOLATE.
• 이중 네트워크 아키텍처를 도입한다: 액션 네트워크 π는 노드 동작을 예측하고, 환경 네트워크 η는 메시지 전달 및 작업별 예측을 수행한다.
• 오직 방송하거나 청취하는 노드만 참여하는 미분 가능 메시지 전달을 사용하여, 동작 결정에 대한 역전파를 가능하게 한다.
• 액션 네트워크와 환경 네트워크를 엔드 투 엔드 역전파를 통해 공동으로 훈련하여, 액션 네트워크가 노드 표현에 기반해 최적의 전략을 학습할 수 있도록 한다.
• 노드의 수를 감지하고 레이블이 지정된 노드와 지정되지 않은 노드를 구분할 수 있도록, 합산형 집계(예: SUMGNN, GIN)를 사용해 액션 네트워크를 구현한다.
• 특히 마인스위퍼와 같은 작업에서 평균 특징을 히프 간에 추적하는 데 유용하므로, 환경 네트워크에서는 평균형 집계(예: GCN, GAT, MeanGNN)를 적용한다.

실험 결과

연구 질문

• RQ1 표준 대칭적 패러다임을 초월해, 동적이고 노드 수준의 동작 선택 메커니즘이 GNN의 메시지 전달 성능을 향상시킬 수 있는가?
• RQ2 CO-GNN 프레임워크는 장거리 의존성 또는 이질적 그래프를 처리하는 데 있어 표준 GNN보다 어떻게 성능을 내는가?
• RQ3 액션 네트워크와 환경 네트워크의 다양한 아키텍처가 CO-GNN 성능에 어떤 영향을 미치는가?
• RQ4 입력 그래프를 계산 그래프에서 분리함으로써 과도한 스무딩과 과도한 압축을 완화할 수 있는가?
• RQ5 학습된 동작들이 실세계 및 합성 환경에서의 그래프 구조와 노드 역할을 어떻게 반영하는가?

주요 결과

• CO-GNNs는 마인스위퍼 벤치마크에서 기준 GNN을 모두 앞서는 최신 기술 수준의 성능을 달성하며, 다양한 환경 및 액션 네트워크 조합에서 일관되게 뛰어난 성능을 보였다.
• 합성된 ROOTNEIGHBORS 작업에서, 액션 네트워크로 SUMGNN 또는 GIN을 사용한 CO-GNNs는 기준보다 크게 승리했고, GCN 또는 GAT를 액션 네트워크로 사용한 경우 노드의 수를 감지할 수 없어 성능이 열악했다.
• 액션 네트워크의 선택이 핵심적이다: 합산형 집계기반(예: SUMGNN, GIN)은 0 레이블 노드와 0이 아닌 레이블 노드를 효과적으로 구분할 수 있지만, 평균형 집계기반(예: GCN, GAT)은 이 역할을 실패한다.
• 마인스위퍼 작업에서, 평균형 집계를 사용하는 환경 네트워크(MeanGNN, GAT)는 모든 액션 네트워크 선택에서 뛰어난 성능을 보였고, GCN는 노드 특징을 구분할 수 없어 성능이 열악했다.
• 시각화 결과 CO-GNNs가 연결성을 동적으로 재구성함을 확인할 수 있었다: 초기 레이어에서는 0 레이블 노드를 고립시켜 신호를 유지하고, 후속 레이어에서는 중요한 정보를 전파하기 위해 연결한다.
• 절단 실험 결과, 액션 네트워크와 환경 네트워크의 공동 훈련이 구조 인식 메시지 전달을 가능하게 하며, 액션 패tern이 마인스위퍼 격자에서 폭탄이 많은 영역을 우선순위로 삼는 등 작업에 특화된 요구사항을 반영함을 확인했다.