[논문 리뷰] Outcome Correlation in Graph Neural Network Regression.

Junteng Jia, Austin R. Benson|arXiv (Cornell University)|2020. 02. 19.

Advanced Graph Neural Networks참고 문헌 30인용 수 5

한 줄 요약

이 논문은 그래프 신경망(GNN) 회귀 성능을 햖스키기 위해 결과 잔차 간 상관관계를 매개변수화된 다변량 정규분포로 모델링하는 방법을 제안한다. 이는 기존 GNN이 忽시하는 연결된 노드 간의 종속성을 포착함으로써 예측 성능을 향상시킨다. 본 방법은 파arameter 추정을 위한 선형 시간 알고리즘을 통해 확장 가능하며, 높은 정확도 향상을 달성한다.

ABSTRACT

Graph neural networks aggregate features in vertex neighborhoods to learn vector representations of all vertices, using supervision from some labeled vertices during training. The predictor is then a function of the vector representation, and predictions are made independently on unlabeled nodes. This widely-adopted approach implicitly assumes that vertex labels are independent after conditioning on their neighborhoods. We show that this strong assumption is far from true on many real-world graph datasets and severely limits predictive power on a number of regression tasks. Given that traditional graph-based semi-supervised learning methods operate in the opposite manner by explicitly modeling the correlation in predicted outcomes, this limitation may not be all that surprising. Here, we address this issue with a simple and interpretable framework that can improve any graph neural network architecture by modeling correlation structure in regression outcome residuals. Specifically, we model the joint distribution of outcome residuals on vertices with a parameterized multivariate Gaussian, where the parameters are estimated by maximizing the marginal likelihood of the observed labels. Our model achieves substantially boosts the performance of graph neural networks, and the learned parameters can also be interpreted as the strength of correlation among connected vertices. To allow us to scale to large networks, we design linear time algorithms for low-variance, unbiased model parameter estimates based on stochastic trace estimation. We also provide a simplified version of our method that makes stronger assumptions on correlation structure but is extremely easy to implement and provides great practical performance in several cases.

연구 동기 및 목표

• 이웃 정보 조건 하에서 예측값이 상호 독립적이라는 가정은 강력하지만 종종 잘못된 가정이며, GNN 회귀에서 이에 기인한 한계를 해결하기 위해.
• 실세계 그래프에서 진짜로 존재하는 결과 상관관계를 포착하기 위해 정점 간 잔차의 공동 분포를 매개변수화된 다변량 정규분포로 모델링하기 위해.
• 스토하스틱 트레이스 추정을 활용해 저분산·비편향 추정치를 도출함으로써, 대규모 그래프에 대한 스케일러블한 추론 및 학습 알고리즘 개발을 위해.
• 일반적인 프레임워크와 더불어 더 강한 가정을 내포하지만 최소한의 구현 오버헤드로 높은 실용적 성능을 내는 단순화된 변형을 제공하기 위해.

제안 방법

• 정점의 회귀 결과 잔차의 공동 분포를 그래프 구조에 의해 매개변수화된 정밀도 행렬을 갖는 다변량 정규분포로 모델링한다.
• 관측된 레이블의 주변 가능도를 최대화함으로써 모델 파라미터를 추정하여, GNN과 함께 엔드 투 엔드 학습이 가능하게 한다.
• 스토하스틱 트레이스 추정을 사용해 역공분산행렬의 트레이스를 효율적으로 계산함으로써, 선형 시간 내에 파라미터 추정이 가능하게 한다.
• 모든 간선에 동일한 상관관계 강도를 가정하는 단순화된 버전을 설계하여 복잡도를 감소시키면서도 강력한 경험적 성능 유지를 한다.
• 사전에 학습된 GNN 위에 잔차 상관관계 모델을 후처리 계층 또는 미분 가능한 헤드로 통합함으로써 아키텍처의 유연성을 유지한다.
• 학습된 정밀도 행렬 파라미터를 연결된 정점 간의 상관관계 강도 측정치로 해석함으로써 해석 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 실세계 그래프 데이터셋에서 GNN 회귀에서 이웃 특징 조건 하에 레이블이 상호 독립적이라는 가정이 얼마나 심각하게 위반되는가?
• RQ2 GNN 예측의 잔차 상관관계를 모델링하면 다양한 데이터셋에서 회귀 성능 향상이 측정 가능한가?
• RQ3 대규모 그래프에서 잔차에 대한 다변량 정규분포 모델의 파라미터를 계산 비용이 과도하게 증가하지 않도록 효율적으로 추정할 수 있는가?
• RQ4 예를 들어 모든 간선에 대해 동일한 상관관계를 가정하는 등의 상관관계 구조 단순화가 성능 및 확장성에 어떤 영향을 미치는가?
• RQ5 학습된 상관관계 파라미터는 연결된 노드 간의 관계적 영향을 의미 있는 지표로 해석할 수 있는가?

주요 결과

• 제안된 방법은 실세계 데이터셋 여러 개에서 기존에 간과되었던 결과 상관관계를 포착함으로써 GNN 회귀 성능을 크게 향상시킨다.
• 잔차에 대해 다변량 정규분포 모델을 사용함으로써, 레이블의 조건부 독립을 가정하는 표준 GNN보다 더 정확한 예측을 가능하게 한다.
• 선형 시간 스토하스틱 트레이스 추정을 통해 확장 가능한 파라미터 추정이 가능해져 수백만 개의 정점을 가진 대규모 그래프에 적용 가능하다.
• 모든 간선에 동일한 상관관계 강도를 가정하는 단순화된 변형은 최소한의 구현 비용으로도 높은 성능을 달성하며 높은 효율성을 유지한다.
• 학습된 상관관계 파라미터는 연결된 정점 간에 의미 있는 관계적 의존성을 반영하며, 모델이 구조적 관계를 올바르게 포착할 수 있음을 검증한다.