[논문 리뷰] Uplifting Message Passing Neural Network with Graph Original Information

Xiao Liu, Lijun Zhang외 1명|arXiv (Cornell University)|2022. 10. 08.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 메시지 전파 신경망(MPNNs)의 표현력을 향상시키기 위해 적응형 융합을 통해 자가 노드 특징, 집계된 근접성 특징, 그래프 구조 특징을 동시에 활용하는 새로운 그래프 신경망인 INGNN을 제안한다. 이론적으로 표현력 향상을 입증하고 실험적으로 최신 기준 성능을 확보함으로써, GCN 및 LINKX와 같은 기준 모델 대비 평균 순위 1.78을 기록하고 최대 8.57%의 정확도 향상을 달성한다.

ABSTRACT

Message passing neural networks (MPNNs) learn the representation of graph-structured data based on graph original information, including node features and graph structures, and have shown astonishing improvement in node classification tasks. However, the expressive power of MPNNs is upper bounded by the first-order Weisfeiler-Leman test and its accuracy still has room for improvement. This work studies how to improve MPNNs' expressiveness and generalizability by fully exploiting graph original information both theoretically and empirically. It further proposes a new GNN model called INGNN (INformation-enhanced Graph Neural Network) that leverages the insights to improve node classification performance. Extensive experiments on both synthetic and real datasets demonstrate the superiority (average rank 1.78) of our INGNN compared with state-of-the-art methods.

연구 동기 및 목표

• 1-WL 동형성 테스트로 제한되는 MPNN의 제한된 표현력 문제를 해결하기 위해, 동형이 아닌 그래프를 구분할 수 없는 문제를 해결한다.
• 수작업으로 만든 특징에 의존하는 기존 방법의 한계를 극복하여, MPNN의 자동 학습 원칙을 위반하지 않는다.
• 노드 수에 대해 선형 확장성을 유지하면서 모델의 표현력과 일반화 능력을 향상시킨다.
• 노드 특징과 그래프 구조와 같은 그래프 원천 정보를 수동 특징 공학 없이 완전히 활용할 수 있는지 탐구한다.
• 다양한 유형의 그래프 특징을 적응형으로 융합하는 통합 프레임워크를 개발하여 노드 표현 학습을 향상시킨다.

제안 방법

• 자기 노드 특징(노드 속성), 집계된 근접성 특징(메시지 전파 표현), 그래프 구조 특징(접속 행렬에서 유도된 위상 정보)의 세 가지 유형의 그래프 원천 정보를 통합하는 GNN 모델인 INGNN을 제안한다.
• 세 가지 특징 유형에 대한 적응형 융합 가중치를 학습하기 위해 이중 최적화 프레임워크를 도입하여 학습 중 동적 중요도 할당을 가능하게 한다.
• 이중 학습 절차를 통해 최적화되는 학습 가능한 어텐션 유사 가중치를 사용해 특징 융합 과정을 수식화하여, 다양한 특징 유형 간 기여도를 균형 있게 조절한다.
• k-WL 기반 접근 방식과 달리 고차원 텐서 연산을 피하기 때문에 선형 확장성을 유지하여 대규모 그래프에 적용 가능하다.
• 메시지 전파 프레임워크 내에서 특징 융합 메커니즘을 적용하여, 노드 표현을 원본 노드 특징, 근접성 집계, 구조 인코딩의 조합으로 업데이트한다.
• 다중 헤드 어텐션 메커니즘을 사용해 적응형 융합 가중치를 계산하여, 그래프 특성과 동질성 수준에 따라 관련 특징을 동적으로 강조할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 수작업 특징에 의존하지 않고, 자가 노드 특징, 집계된 근접성 특징, 그래프 구조 특징을 완전히 활용함으로써 MPNN의 표현력을 향상시킬 수 있는가?
• RQ2 그래프 구조 특징을 통합함으로써 1-WL 표현력 한계를 초월할 수 있으며, 이는 3-WL에 비해 비동형 그래프를 구분하는 데 얼마나 효과적인가?
• RQ3 특정 그래프 환경, 특히 저동질성 그래프에서 자가 노드 특징이 독립적으로 노드 오분류율을 감소시킬 수 있는가?
• RQ4 다양한 동질성 수준을 가진 그래프에서 세 가지 특징 유형이 성능에 기여하는 정도는 어느 정도이며, 상대적 중요도는 어떻게 변화하는가?
• RQ5 제안된 적응형 융합 메커니즘이 기존 MPNN 모델(GCN, LINKX, H2GCN)에 플러그인 방식으로 특징을 추가했을 때 정확도를 크게 향상시킬 수 있는가?

주요 결과

• INGNN는 9개의 실세계 데이터셋에서 평균 순위 1.78을 기록하여 12개의 최신 기준 GNN 기준 모델을 초월한다.
• 실세계 데이터셋에서 GCN 대비 평균 4.17% 향상, MIXHOP 대비 4.01% 향상, GPR-GNN 대비 3.43% 향상된 노드 분류 정확도를 확보한다.
• 제거 실험 결과, 자가 노드, 집계된 근접성, 그래프 구조 특징 모두 성능 향상에 기여하며, 저~중간 동질성 그래프에서는 그래프 구조 특징이 가장 핵심적임을 확인한다.
• 특징 중요도 분석 결과, 동질성 높은 그래프(예: Cora, PubMed)에서는 집계된 근접성 특징이 지배적이며, 저동질성 그래프(예: arXiv-year, twitch-gamer)에서는 그래프 구조 특징이 가장 영향력이 크다.
• 기존 모델인 GCN, LINKX, H2GCN에 세 가지 특징을 추가한 결과, 평균 정확도 향상률이 0.40%에서 8.57%까지 향상되었으며, GCN에서 가장 높은 향상률(8.57%)을 기록했다.
• 이론적 분석을 통해 INGNN의 표현력이 1-WL을 초월하고 3-WL 이하의 표현력이 아니며, 자가 노드 특징이 특정 경우에 오분류율을 감소시킬 수 있음을 입증하여 모델의 이론적 기반을 확인했다.