[논문 리뷰] Ordered GNN: Ordering Message Passing to Deal with Heterophily and Over-smoothing

Yunchong Song, Chenghu Zhou외 2명|arXiv (Cornell University)|2023. 02. 03.

Advanced Graph Neural Networks인용 수 18

한 줄 요약

Ordered GNN은 루트 트리 이웃 관계 계층을 노드 임베딩과 정렬된 게이팅 메커니즘으로 정렬하여 순차적 메시지 전달을 가능하게 하고 이질성(heterophily)과 과도한 평활화(over-smoothing)를 완화하며 다양한 데이터세트에서 최첨단 성능을 달성한다.

ABSTRACT

Most graph neural networks follow the message passing mechanism. However, it faces the over-smoothing problem when multiple times of message passing is applied to a graph, causing indistinguishable node representations and prevents the model to effectively learn dependencies between farther-away nodes. On the other hand, features of neighboring nodes with different labels are likely to be falsely mixed, resulting in the heterophily problem. In this work, we propose to order the messages passing into the node representation, with specific blocks of neurons targeted for message passing within specific hops. This is achieved by aligning the hierarchy of the rooted-tree of a central node with the ordered neurons in its node representation. Experimental results on an extensive set of datasets show that our model can simultaneously achieve the state-of-the-art in both homophily and heterophily settings, without any targeted design. Moreover, its performance maintains pretty well while the model becomes really deep, effectively preventing the over-smoothing problem. Finally, visualizing the gating vectors shows that our model learns to behave differently between homophily and heterophily settings, providing an explainable graph neural model.

연구 동기 및 목표

• 그래프 신경망에서 이질성(heterophily)과 과도한 평활화의 이중 도전을 동기로 제시하고 해결한다.
• 과도한 특징 혼합 없이 멀티홉 정보를 인코딩하는 순서가 있는 메시지 전달 체계를 제안한다.
• 다른 홉 계 levels 정보에 뉴런 블록을 할당하는 게이팅 기반 메커니즘을 도입한다.
• 동질적 및 이질적 데이터셋 전반에서 최첨단 성능을 입증하고 깊은 아키텍처로의 확장 가능성을 보인다.

제안 방법

• 평균 풀링을 이용한 집계 단계로 이웃 정보를 표현한다.
• 홉에 대응하는 정렬된 블록으로 임베딩을 분할하여 루트 트리 계층과 노드 임베딩을 정렬한다.
• 정보 흐름을 제어하기 위해 미분 가능한 게이팅 벡터 g_v^(k)로 분할점 P_v^(k)을 예측한다.
• 레이어 간 분할점의 단조성을 강제하기 위해 미분 가능한 OR( SOFTOR )를 사용한다.
• 게이팅된 블록별로 에고(ego) 대 집계된 맥락을 선택적으로 사용하는 순서화된 결합 규칙으로 노드 임베딩을 업데이트한다.
• 성능을 손상시키지 않으면서 게이팅 매개변수를 줄이는 청크(chunking) 기법을 적용한다.

실험 결과

연구 질문

• RQ1 홉 거리별로 메시지 전달 과정을 순서화하는 것이 명시적 이웃 유형 설계 없이 이질성에 대한 강건성을 향상시킬 수 있는가?
• RQ2 루트 트리 계층을 정렬된 뉴런 블록과 정렬시키는 것이 깊은 GNN에서 과도한 평활화를 완화하는 데 도움이 되는가?
• RQ3 제안된 게이팅 및 소프트-OR 메커니즘이 다양한 그래프 체제(동질성 vs 이질성)에서 설명 가능하고 적용 가능하게 되는가?

주요 결과

• 이 모델은 이질성 설계(targeted heterophily designs) 없이도 동질적 및 이질적 데이터셋에서 최첨단 성능을 달성한다.
• 정렬된 게이팅은 홉 내의 특징 혼합을 방지하고 서로 다른 차수의 정보를 모델링할 수 있게 한다.
• 게이팅 시각화는 동질성·이질성 설정 간에 뚜렷한 동작을 보이며 설명 가능성을 제공한다.
• 깊이가 증가해도 방법이 효과적이며, 과도한 평활화의 완화를 시사한다.
• 대규모 데이터셋으로 확장 시 강력한 기준선과의 경쟁력 있는 성능을 보여준다.