[논문 리뷰] Two Sides of the Same Coin: Heterophily and Oversmoothing in Graph Convolutional Neural Networks

Yujun Yan, Milad Hashemi외 3명|arXiv (Cornell University)|2021. 02. 12.

Advanced Graph Neural Networks참고 문헌 43인용 수 25

한 줄 요약

이 논문은 노드 수준 지표를 사용하여 GCN에서 과평활과 이질성(heterophily)을 함께 설명하고, 두 문제를 모두 해결하기 위해 구조- 및 특징 기반 엣지 보정을 갖춘 GGCN을 제안한다.

ABSTRACT

In node classification tasks, graph convolutional neural networks (GCNs) have demonstrated competitive performance over traditional methods on diverse graph data. However, it is known that the performance of GCNs degrades with increasing number of layers (oversmoothing problem) and recent studies have also shown that GCNs may perform worse in heterophilous graphs, where neighboring nodes tend to belong to different classes (heterophily problem). These two problems are usually viewed as unrelated, and thus are studied independently, often at the graph filter level from a spectral perspective. We are the first to take a unified perspective to jointly explain the oversmoothing and heterophily problems at the node level. Specifically, we profile the nodes via two quantitative metrics: the relative degree of a node (compared to its neighbors) and the node-level heterophily. Our theory shows that the interplay of these two profiling metrics defines three cases of node behaviors, which explain the oversmoothing and heterophily problems jointly and can predict the performance of GCNs. Based on insights from our theory, we show theoretically and empirically the effectiveness of two strategies: structure-based edge correction, which learns corrected edge weights from structural properties (i.e., degrees), and feature-based edge correction, which learns signed edge weights from node features. Compared to other approaches, which tend to handle well either heterophily or oversmoothing, we show that {our model, GGCN}, which incorporates the two strategies performs well in both problems.

연구 동기 및 목표

• 이론적으로 근거가 있는 노드 수준 지표를 도입하여 GCN 계층 전반에 걸쳐 노드를 프로파일링한다(상대 차수 및 노드 수준 이질성).
• 노드 행동을 기반으로 과평활과 이질성 문제에 대한 공동 설명을 제공한다.
• 두 문제를 모두 완화하기 위해 구조적으로 및 노드 특징을 통해 엣지를 보정하는 방법을 개발하고 검증한다.

제안 방법

• 노드 수준의 호모필리 h_i와 상대 차수 r_i를 정의하여 계층 전반의 노드 행동을 특징지운다.
• 노드 지표를 노드 표현의 변화와 오분류에 연결하는 이론적 조건(정리 3.1–3.3)을 도출한다.
• 이웃의 영향을 조절하기 위해 계층별 엣지 스칼라 e_{ij}^l를 학습하여 구조 기반 엣지 보정을 제안한다.
• 노드 표현 간 코사인 유사도를 사용해 부호가 있는 엣지 가중치를 학습하여 양의/음의 메시지 경로를 생성하는 특징 기반 엣지 보정을 제안한다.
• 표현 수렴 속도를 늦추고 안정성을 높이기 위해 감소하는 집합화를 도입한다.
• 두 엣지 보정 메커니즘과 감소하는 집계의 결합된 모델로써 GGCN을 제시한다.

실험 결과

연구 질문

• RQ1 노드 수준 지표(상대 차수 및 노드 수준 호모필리)가 GCN에서 과평활과 이질성을 어떻게 설명하는가?
• RQ2 구조 및 특징에 기반한 엣지 보정 전략이 과평활과 이질성을 모두 완화할 수 있는가, 그리고 서로 다른 호모필리 수준의 데이터셋에서의 성능은 어떤가?
• RQ3 부호가 있는 엣지와 계층별 보정이 기존 모델과 비교하여 GCN의 과평활 및 이질성에 대한 강건성을 개선하는가?

주요 결과

• 상대 차수와 노드 수준 호모필리가 서로 작용하여 계층 전반에 걸친 세 가지 노드 행동을 정의하고, 이를 통해 과평활과 이질성을 함께 설명한다.
• 특정 오류율 및 차수 조건에서 부호가 있는 엣지 가중치가 두 문제를 완화하는 데 도움이 될 수 있다.
• 차수 관련 속성을 이용해 엣지 가중치를 개선하는 구조 기반 엣지 보정은 고호모필리 그래프에서 과평활을 방지한다.
• 코사인 기반 부호를 사용해 이웃의 양의/음의 영향을 구분하는 특징 기반 엣지 보정은 이질적 그래프에서 성능을 향상시킨다.
• 제안된 GGCN은 두 엣지 보정 전략과 감소하는 집계를 결합하여 이질성이 높은 데이터셋에서 강한 성능과 동질 데이터셋에서의 경쟁력 있는 결과를 달성한다.