[논문 리뷰] On the Unreasonable Effectiveness of Feature propagation in Learning on Graphs with Missing Node Features

Emanuele Rossi, Henry Kenlay외 4명|arXiv (Cornell University)|2021. 11. 23.

Advanced Graph Neural Networks참고 문헌 51인용 수 10

한 줄 요약

이 논문은 Dirichlet 에너지 최소화를 통한 확산 과정을 통해 그래프 신경망에서 누락된 노드 특징을 재구성하는 이론적으로 탄탄하고 확장 가능한 방법인 특징 전파(FP)를 제안한다. FP는 99%의 특징이 누락된 상황에서도 상태최저 성능을 유지하며, 특징 상실 비율이 높은 대규모 그래프에서 기존 방법보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

While Graph Neural Networks (GNNs) have recently become the de facto standard for modeling relational data, they impose a strong assumption on the availability of the node or edge features of the graph. In many real-world applications, however, features are only partially available; for example, in social networks, age and gender are available only for a small subset of users. We present a general approach for handling missing features in graph machine learning applications that is based on minimization of the Dirichlet energy and leads to a diffusion-type differential equation on the graph. The discretization of this equation produces a simple, fast and scalable algorithm which we call Feature Propagation. We experimentally show that the proposed approach outperforms previous methods on seven common node-classification benchmarks and can withstand surprisingly high rates of missing features: on average we observe only around 4% relative accuracy drop when 99% of the features are missing. Moreover, it takes only 10 seconds to run on a graph with $\sim$2.5M nodes and $\sim$123M edges on a single GPU.

연구 동기 및 목표

• 실제 그래프 기반 기계학습 응용에서 개인정보 보호나 데이터 수집 제약으로 인해 특징이 종종 불완전한 상황에서 누락된 노드 특징 문제를 해결하기 위해.
• 대규모 그래프에서 높은 비율의 특징이 누락된 상황에서도 이론적으로 탄탄하고 실용적으로 확장 가능한 방법을 개발하기 위해.
• 특히 극단적인 특징 누락 비율에서 기존 최고 성능 기법인 GCNMF와 PaGNN을 능가하는 정확도와 확장성 확보를 위해.
• 모든 후행 GNN 모델과 호환되는 일반적이고 즉시 적용 가능한 전처리 단계를 제공하여 유연성과 구현 용이성을 높이기 위해.

제안 방법

• 이 방법은 그래프 상에서 Dirichlet 에너지를 최소화하는 데 기반하며, 이는 연속 시간 확산 방정식으로 이어지고, 그래프 구조를 따라 특징이 전파되는 모델을 제공한다.
• 연속적인 확산 방정식은 희소 행렬 곱셈을 활용한 이터레이티브 알고리즘으로 이산화되어 효율적이고 확장 가능한 계산을 가능하게 한다.
• 각 반복 단계에서 이웃 노드의 특징을 집계하여 특징을 갱신하고, 관측된 값으로 재초기화함으로써 관측된 특징과 일관성을 유지한다.
• 이 과정은 저역통과 필터 역할을 하여 그래프 전반에 걸쳐 특징을 스무딩하면서도 관측된 값을 경계 조건으로 유지한다.
• 이 프레임워크는 GCN이나 GraphSAGE와 같은 어떤 GNN 모델과도 통합 가능하여 후행 노드 분류 작업에 활용할 수 있다.
• 알고리즘은 GPU 기반으로 효율적으로 구현되었으며, 250만 노드 그래프에서 특징 재구성 단계가 단일 GPU에서 10초 이내에 완료된다.

실험 결과

연구 질문

• RQ1 이론적으로 탄탄하고 확장 가능한 방법이 특징 누락 상황에서도 높은 성능을 유지하면서 그래프 내에서 누락된 노드 특징을 재구성할 수 있는가?
• RQ2 특징 누락 비율이 매우 높은 경우(예: 90% 또는 99%) 특징 재구성 방법의 성능은 어떻게 저하되는가?
• RQ3 대규모 그래프에서 GCNMF와 PaGNN과 같은 기존 기법보다 정확도, 속도, 확장성 면에서 특징 전파가 뛰어나게 되는가?
• RQ4 그래프의 동질성(homophily)이 특징 전파의 효과성에 어떤 영향을 미치는가?
• RQ5 이 방법은 이질적 그래프와 특징 기반의 확산 메커니즘으로 일반화될 수 있는가?

주요 결과

• 99%의 특징이 누락된 상황에서 FP는 상대 정확도 저하율이 4.12%에 불과하지만, GCNMF는 평균 58.33%, PaGNN은 21.25%로 떨어지며, 벤치마크 전반에서 뚜렷한 성능 우위를 보였다.
• 250만 노드, 1억 2300만 간선을 가진 OGBN-Products 데이터셋에서 FP는 단일 GPU에서 약 10.5초 내로 특징 재구성 작업을 완료했고, GCNMF와 PaGNN는 메모리 초과 오류로 실패했다.
• FP는 99%의 특징이 누락된 상황에서도 라벨 전파나 위치 인코딩 기법을 능가하거나 동등하게 성능을 유지하며, 강건성과 실용성을 입증했다.
• FP는 끝에서 끝까지의 학습 시간에서 PaGNN와 GCNMF보다 3배 빠르며, 특징 전파 단계가 총 실행 시간의 소수에 불과한 비중을 차지한다.
• 저동질성 그래프에서는 성능 저하가 심각하게 발생하여 FP가 0값 보간 기반 기준선과 유사한 성능을 보이며, 비동질적 환경에서는 한계를 드러낸다.
• 이 방법은 이웃 노드의 특징이 유사한 동질성 그래프에서 가장 효과적이며, 이는 특징을 그래프 전반에 걸쳐 스무딩하는 저역통과 필터로 해석될 수 있음을 검증한다.