[논문 리뷰] Characterizing Graph Datasets for Node Classification: Homophily-Heterophily Dichotomy and Beyond

Oleg Platonov, Denis Kuznedelev외 2명|arXiv (Cornell University)|2022. 09. 13.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 노드 분류를 위한 그래프 데이터셋을 특성화하기 위해 조정된 호모필리와 레이블 정보성(LI)을 제안한다. 기존에 널리 사용되는 호모필리 측정법은 일관되지 않은 기준선으로 인해 결함이 있음을 보여주며, 조정된 호모필리는 바람직한 이론적 성질을 만족한다. LI는 이웃의 레이블이 노드의 레이블을 얼마나 잘 예측하는지를 수량화하는 데서, 특히 이질적 그래프에서 기존 호모필리보다 GNN 성능 예측에 더 뛰어나며, GNN이 이러한 데이터셋에서 성공하는 이유를 설명한다.

ABSTRACT

Homophily is a graph property describing the tendency of edges to connect similar nodes; the opposite is called heterophily. It is often believed that heterophilous graphs are challenging for standard message-passing graph neural networks (GNNs), and much effort has been put into developing efficient methods for this setting. However, there is no universally agreed-upon measure of homophily in the literature. In this work, we show that commonly used homophily measures have critical drawbacks preventing the comparison of homophily levels across different datasets. For this, we formalize desirable properties for a proper homophily measure and verify which measures satisfy which properties. In particular, we show that a measure that we call adjusted homophily satisfies more desirable properties than other popular homophily measures while being rarely used in graph machine learning literature. Then, we go beyond the homophily-heterophily dichotomy and propose a new characteristic that allows one to further distinguish different sorts of heterophily. The proposed label informativeness (LI) characterizes how much information a neighbor's label provides about a node's label. We prove that this measure satisfies important desirable properties. We also observe empirically that LI better agrees with GNN performance compared to homophily measures, which confirms that it is a useful characteristic of the graph structure.

연구 동기 및 목표

• 일반적으로 사용되는 호모필리 측정법의 핵심 결함을 특정하여, 다양한 데이터셋 간 비교를 가능하게 하지 못하는 이유를 규명한다.
• 강력한 호모필리 측정법을 위해 바람직한 성질을 정식화하며, 특히 일정 기준선 성질을 중점으로 한다.
• 기존 호모필리 측정법의 대안으로 이론적으로 타당한 조정된 호모필리를 제안한다.
• 호모필리–이질성의 이원론을 넘어서 다양한 유형의 이질성을 구분할 수 있는 새로운 지표로 레이블 정보성(LI)을 도입한다.
• 다양한 데이터셋에서 LI가 호모필리 측정법보다 GNN 성능 예측에 더 강한 상관관계를 보임을 경험적으로 검증한다.

제안 방법

• 호모필리 측정법에 대해 바람직한 성질의 집합을 정식화하며, 특히 일정 기준선 성질을 포함하여 다양한 데이터셋 간 공정성과 비교 가능성 확보.
• 표준 호모필리 측정법보다 더 많은 성질을 만족하는 조정된 호모필리(또는 조화계수)를 정의.
• 노드의 레이블을 예측하는 데 있어 이웃의 레이블이 얼마나 예측력이 있는지를 수량화하는 새로운 지표인 레이블 정보성(LI)을 제안.
• 이론적 분석과 경험적 평가를 병행하여 LI가 일정 기준선 성질을 만족하고 다양한 데이터셋 간 비교가 가능함을 보여준다.
• GCN, GraphSAGE, GAT, GT 등의 GNN을 사용하여 합성(SBM, LFR) 및 실세계(Cora, Citeseer, 기타) 데이터셋에서 LI와 호모필리 측정법을 평가한다.
• GNN 성능(ROC AUC)과 각 지표 간의 슼스피어 상관관계를 계산하여 예측 능력을 평가한다.

실험 결과

연구 질문

• RQ1 왜 일반적으로 사용되는 호모필리 측정법이 다양한 그래프 데이터셋 간 호모필리 수준을 신뢰성 있게 비교할 수 없는가?
• RQ2 어느 호모필리 측정법이 특히 일정 기준선 성질을 포함하여 가장 바람직한 이론적 성질을 만족하는가?
• RQ3 호모필리–이질성의 이원론을 넘어서는 새로운 지표가 이질적 그래프에서 GNN 성능을 더 잘 설명할 수 있는가?
• RQ4 레이블 정보성(LI)은 다양한 데이터셋에서 호모필리 측정법보다 GNN 성능 예측에 어떻게 비교되는가?
• RQ5 왜 GNN은 종종 매우 이질적인 그래프에서 강력한 성능을 내는가? 그리고 LI는 이 현상을 설명할 수 있는가?

주요 결과

• 일반적으로 사용되는 호모필리 측정법, 예를 들어 간선 호모필리와 노드 호모필리는 일정 기준선 성질을 만족하지 못하여 데이터셋 간 비교가 신뢰할 수 없다.
• 조정된 호모필리는 다른 호모필리 측정법보다 더 많은 바람직한 이론적 성질을 만족하며, 호모필리 측정에 있어 더 나은 대안으로 권장된다.
• 레이블 정보성(LI)은 이웃의 레이블이 노드의 레이블을 예측하는 데 얼마나 정보가 되는지를 수량화하는 새로운 지표이며, 일정 기준선 성질을 만족한다.
• 합성 LFR 벤치마크 실험에서 LI는 GraphSAGE 성능과 0.99의 슼스피어 상관관계를 보였으며, 이는 호모필리 측정법(예: h_adj는 0.68)을 크게 앞서는 성능을 보였다.
• 실세계 데이터셋에서는 LI가 GNN 성능과 가장 높은 슼스피어 상관관계(0.85 for GAT, 0.82 for GraphSAGE)를 기록했으며, 모든 호모필리 측정법을 압도했다.
• 이전 연구에서 관찰된 GNN 성능과 간선 호모필리 간의 U자형 관계는 LI로 설명될 수 있으며, LI 역시 U자형 곡선을 보이며, 이는 이웃의 레이블이 정보가 많을 경우, 호모필리 수준과 관계없이 높은 성능을 내기 때문임을 시사한다.