[논문 리뷰] Feature Propagation on Graph: A New Perspective to Graph Representation Learning

Biao Xiang, Ziqi Liu외 2명|arXiv (Cornell University)|2018. 04. 17.

Advanced Graph Neural Networks참고 문헌 10인용 수 6

한 줄 요약

이 논문은 그래프에서의 특징 전파를 위한 형식적 프레임워크를 제안하며, M-행렬 이론을 사용하여 수치적 안정성을 보장하는 수렴 조건을 증명한다. 또한 node2vec과 structure2vec를 이 프레임워크에 통합하고, 간선 수준의 표현 학습 방법인 edge2vec을 제안하여, 노드 간에 다중 간선이 존재하는 실제 거래 그래프에서의 사기 탐지 작업에서 뛰어난 성능을 보였다.

ABSTRACT

We study feature propagation on graph, an inference process involved in graph representation learning tasks. It's to spread the features over the whole graph to the $t$-th orders, thus to expand the end's features. The process has been successfully adopted in graph embedding or graph neural networks, however few works studied the convergence of feature propagation. Without convergence guarantees, it may lead to unexpected numerical overflows and task failures. In this paper, we first define the concept of feature propagation on graph formally, and then study its convergence conditions to equilibrium states. We further link feature propagation to several established approaches such as node2vec and structure2vec. In the end of this paper, we extend existing approaches from represent nodes to edges (edge2vec) and demonstrate its applications on fraud transaction detection in real world scenario. Experiments show that it is quite competitive.

연구 동기 및 목표

• 그래프에서의 특징 전파를 그래프 표현 학습의 핵심 메커니즘으로 체계화하기.
• 특징 전파가 평형 상태에 수렴할 수 있는 조건을 규명하고, 이를 통해 수치적 안정성을 보장하기.
• node2vec과 structure2vec와 같은 기존 그래프 표현 학습 방법들을 제안된 특징 전파 프레임워크 아래 통합하기.
• 노드 수준의 표현 학습을 간선 수준의 학습(즉, edge2vec)으로 확장하여, 현실 세계의 복잡한 다중관계 그래프 구조를 모델링하기.
• edge2vec을 사기 거래 탐지 작업에 적용하여, 노드 간 다중 연결이 존재하는 환경에서의 효과성을 입증하기.

제안 방법

• 반복 업데이트로 정의된 일반적인 특징 전파 프레임워크를 제안: $ H^{(t+1)} = \phi(A) H^{(t)} W $, 여기서 $ \phi(A) $는 인접 행렬에 대한 메시지 전달 연산자이다.
• M-행렬 이론을 활용하여 수렴 조건을 설정하여, $ T \to \infty $ 일 때 전파 과정이 안정적인 평형 상태에 도달하도록 보장한다.
• node2vec과 structure2vec가 특정 형태의 $ \phi(A) $와 일치함을 보여줌으로써 이들 방법을 특징 전파 프레임워크에 통합한다.
• 특징 전파를 간선으로 확장하여 edge2vec을 도입하며, 소스 노드와 타겟 노드의 특징을 집계하는 학습 가능한 전파 행렬 $ \widetilde{X^{(e)}} $ 를 사용한다.
• 선형 분류기 $ f(x; \theta) = \theta^T x $ 와 교차 엔트로피 손실 및 L2 정규화를 사용하여 간선 수준의 예측 작업에 모델을 훈련시킨다.
• 수렴 조건을 구현하기 위해 경사수프로젝션을 사용하여 안정적인 특징 전파의 실용적 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 그래프에서의 특징 전파가 어떤 조건에서 안정적인 평형 상태로 수렴하는가?
• RQ2 node2vec과 structure2vec와 같은 기존 그래프 표현 학습 방법들이 특징 전파의 관점에서 어떻게 해석될 수 있는가?
• RQ3 특징 전파를 노드에서 간선으로 확장하여, 복잡한 다관계 그래프 구조를 모델링할 수 있는가?
• RQ4 edge2vec은 노드 전용 또는 비전파 기반 간선 특징에 비해 사기 탐지 작업에서 성능을 향상시키는가?
• RQ5 기존 방법들인 structure2vec에서 수치적 안정성 위험은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 전파 행렬이 M-행렬 조건을 만족할 경우 특징 전파가 평형 상태로 수렴하며, 이는 수치적 오버플로우로부터 이론적 보장을 제공한다.
• 정규화 파rameter $ \lambda < 10^{-5} $ 일 경우 structure2vec 방법이 수치적 불안정성을 보이며, 3차 이상 전파에서 오버플로우가 발생한다.
• edge2vec은 기준 모델인 전파 없음 및 노드 특징 단순 연결에 비해 사기 탐지에서 더 우수한 성능을 보이며, 더 나은 PR-곡선을 통해 이를 입증하였다.
• edge2vec이 연결 기반 기준 모델에 비해 성능 향상은 미약하지만 일관되게 나타나, 간선 수준 표현에 대한 구조적 특징 전파의 가치를 확인한다.
• 이 방법은 기존의 노드 임베딩 모델들인 node2vec이 지원하지 않는 노드 쌍 간의 다중 간선을 효과적으로 처리할 수 있었다.
• 본 연구는 기존 방법의 심각한 격차를 규명하였다: 수렴 분석의 부재로 인해 훈련이 불안정하고 예측이 신뢰할 수 없을 수 있다.