[논문 리뷰] RetGK: Graph Kernels based on Return Probabilities of Random Walks

Zhen Zhang, Mianzhi Wang외 3명|arXiv (Cornell University)|2018. 09. 07.

Advanced Graph Neural Networks인용 수 38

한 줄 요약

이 논문은 랜덤 워크의 귀환 확률에 기반한 새로운 그래프 커널 프레임워크인 RetGK를 제안한다. 이는 노드의 구조적 역할을 효과적으로 포착하고 이산적 및 연속적 노드 속성을 통합한다. RetGK는 대규모 그래프에서 특히 정확도와 계산 효율성 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph-structured data arise in wide applications, such as computer vision, bioinformatics, and social networks. Quantifying similarities among graphs is a fundamental problem. In this paper, we develop a framework for computing graph kernels, based on return probabilities of random walks. The advantages of our proposed kernels are that they can effectively exploit various node attributes, while being scalable to large datasets. We conduct extensive graph classification experiments to evaluate our graph kernels. The experimental results show that our graph kernels significantly outperform existing state-of-the-art approaches in both accuracy and computational efficiency.

연구 동기 및 목표

• 구조적 위상 정보와 노드 속성을 효과적으로 포착하는 이sovomorphism-불변 그래프 커널 설계의 과제를 해결한다.
• 소부그래프 기반 그래프 커널에서 발생하는 대각선 우세 문제를 피하기 위해 소부그래프로 분해하는 것을 회피한다.
• 근사 특성 매핑과 텐서 표현을 활용하여 대규모 그래프에서의 효율적 계산을 가능하게 한다.
• 귀환 확률 특성 기반으로 속성 부여된 그래프와 부여되지 않은 그래프를 동일한 커널 프레임워크 내에서 통합적으로 다룰 수 있도록 한다.
• 다양한 벤치마크 데이터셋과 다양한 유형의 속성을 가진 데이터에서 높은 정확도와 확장성을 달성한다.

제안 방법

• S 단계 후 시작 노드로의 귀환 확률에 기반한 노드 수준의 구조적 기술자인 귀환 확률 특성(RPF)을 도입한다.
• RPF가 이sovomorphism-불변이며 풍부한 위상 정보를 캡슐화하며, 그래프의 힐버트 공간 임bedding이 가능하다는 것을 증명한다.
• 양성 정의 커널을 사용해 두 그래프의 노드 간 RPF 분포를 비교함으로써 RetGK_I 커널을 구성한다.
• 각 그래프를 다차원 텐서로 표현하기 위해 근사적 명시적 특성 매핑을 적용하여 효율적 계산을 가능하게 한다.
• RPF를 근사하기 위해 몬테카를로 샘플링을 사용하는 RetGK_II의 효율적 변종을 유도한다. 이는 계산 비용을 감소시킨다.
• 텐서 기반 연산을 사용해 커널을 효율적으로 계산함으로써 수백만 개의 노드를 가진 대규모 그래프로의 확장성을 달성한다.

실험 결과

연구 질문

• RQ1 랜덤 워크의 귀환 확률은 그래프 노드에 대해 효과적이고 이sovomorphism-불변의 구조적 기술자로 기능할 수 있는가?
• RQ2 귀환 확률 특성은 커널 기반 학습을 위한 힐버트 공간에 그래프를 임베딩하는 데 어떻게 활용될 수 있는가?
• RQ3 제안된 커널 프레임워크는 이산적 및 연속적 노드 속성을 통합적으로 다룰 수 있는가?
• RQ4 RetGK의 성능은 정확도와 계산 효율성 측면에서 최신 기술 수준의 그래프 커널과 비교해 어떻게 되는가?
• RQ5 보행 길이와 특성 매핑 차원과 같은 하이퍼파rameter에 대해 제안된 방법의 민감도는 어떠한가?

주요 결과

• RetGK_I와 RetGK_II는 21개의 벤치마크 데이터셋에서 최신 기술 수준의 분류 정확도를 달성했으며, 특히 REDDIT-BINARY 및 PROTEINS 데이터셋에서 모든 베이스라인을 초월한다.
• REDDIT-BINARY 데이터셋에서 RetGK_II는 91.6%의 정확도를 기록했으며, Weisfeiler-Lehman 커널(68.2%)과 PSCN 커널(86.3%)을 크게 앞서나간다.
• REDDIT-BINARY에서 RetGK_II(MC)는 6분 9초 내에 실행되었으며, Weisfeiler-Lehman 부분수형 커널 대비 거의 한 단계 빠른 성능을 보였다.
• 감도 분석에서 S, D₀, D_c의 다양한 값에 대해 일관된 정확도를 유지하며 뛰어난 성능 안정성을 보였다.
• 대규모 PROTEINS 데이터셋에서 RetGK_II는 총 학습 시간 49.9초에 75.2%의 정확도를 달성했으며, DGK(75.7%)와 PSCN(75.0%)를 뛰어넘는 성능을 보였다.
• 이산적 및 연속적 속성을 모두 가진 데이터셋인 BZR과 COX2에서 RetGK_II는 각각 87.1%와 81.4%의 정확도를 기록했으며, GIK 및 CSM 방법을 모두 능가했다.