[논문 리뷰] Rethinking Kernel Methods for Node Representation Learning on Graphs

Yu Tian, L. Zhao외 2명|arXiv (Cornell University)|2019. 10. 06.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 노드 분류를 위한 새로운 커널 기반 프레임워크를 제안하며, 유의미하고 강력한 커널 함수를 학습 가능한 특징 매핑과 기본 커널으로 분리함으로써 효율적이고 비재귀적인 노드 표현 학습을 가능하게 한다. 이 방법은 표준 노드 분류 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성하였고, 모든 양의 정반정행렬 커널을 표현할 수 있음을 이론적으로 증명하였다.

ABSTRACT

Graph kernels are kernel methods measuring graph similarity and serve as a standard tool for graph classification. However, the use of kernel methods for node classification, which is a related problem to graph representation learning, is still ill-posed and the state-of-the-art methods are heavily based on heuristics. Here, we present a novel theoretical kernel-based framework for node classification that can bridge the gap between these two representation learning problems on graphs. Our approach is motivated by graph kernel methodology but extended to learn the node representations capturing the structural information in a graph. We theoretically show that our formulation is as powerful as any positive semidefinite kernels. To efficiently learn the kernel, we propose a novel mechanism for node feature aggregation and a data-driven similarity metric employed during the training phase. More importantly, our framework is flexible and complementary to other graph-based deep learning models, e.g., Graph Convolutional Networks (GCNs). We empirically evaluate our approach on a number of standard node classification benchmarks, and demonstrate that our model sets the new state of the art.

연구 동기 및 목표

• 현재 GCN과 같은 접근 방식이 히우리스틱에 크게 의존하는 바, 노드 표현 학습을 위한 원리적이고 이론적으로 탄탄한 방법의 부족을 해결한다.
• 그래프 분류에 사용되는 그래프 커널 방법과 노드 분류 간의 격차를 메우기 위해 커널 학습을 노드 수준으로 확장한다.
• 모든 유효한 커널을 표현할 수 있을 정도로 충분히 표현력이 강하고, 同시에 유효한(양의 준정적행렬) 커널이 되는 학습 가능한 커널 설정을 개발한다.
• 커널 스무딩의 관점에서 유도된 효율적인 단일단계 특징 집합 메커니즘을 설계하여 GCN의 재귀적 근접 노드 집합 방식을 개선한다.
• 기존의 깊이 있는 그래프 모델(GCN 등)과의 호환성과 상호보완성을 확보하여, 보다 넓은 GNN 프레임워크에 통합 가능하도록 한다.

제안 방법

• 결과 커널이 양의 준정적행렬을 유지하도록, 커널 함수를 학습 가능한 특징 매핑 $ g_{\theta} $ 와 고정된 기본 커널 $ k_{\text{base}} $ 로 분해한다.
• 노드 레이블을 기반으로 노드 트리플릿에 대한 대비 손실을 사용하여 데이터 기반의 유사도 측정 및 학습 기준을 설정하여 $ g_{\theta} $ 를 학습시킨다.
• 커널 스무딩의 관점에서 새로운 특징 집합 메커니즘을 유도하여 이웃 노드 특징의 단일 단계 집합을 가능하게 한다.
• 구조적 및 특징 기반 유사도를 포착하기 위해 학습 가능한 커널 $ K_{\theta}(v_i, v_j) = k_{\text{base}}(g_{\theta}(v_i), g_{\theta}(v_j)) $ 를 사용한다.
• 대비 목표 함수를 사용하여 모델을 학습한다: $ \mathcal{L}_{K} = \sum_{(v_i,v_j) \in \mathcal{D}} \ell(K_{\theta}(v_i,v_j), s_G(v_i,v_j)) $, 여기서 $ s_G $ 는 지식 기반의 간선 레이블이다.
• GCN 및 GAT과 같은 기존 모델과 통합하여 프레임워크의 유연성과 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 노드 분류를 위한 커널 기반 프레임워크를 설계할 수 있는가? 이는 이론적으로 타당하고 표현력이 강해야 한다.
• RQ2 커널 방법을 어떻게 수정하여 그래프의 구조적 정보를 유지하면서 노드 표현을 학습할 수 있는가?
• RQ3 모든 양의 준정적행렬 커널과 동일한 힘을 지닌 학습 가능한 커널 함수를 구성할 수 있는가?
• RQ4 커널 기반의 단일단계 집합 메커니즘은 GCN의 재귀적 근접 노드 집합 방식에 비해 효율성과 성능 측면에서 어떻게 비교되는가?
• RQ5 이 커널 프레임워크는 GCN 및 GAT과 같은 기존의 깊이 있는 그래프 모델과 얼마나 잘 통합되고, 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 커널 프레임워크는 표준 노드 분류 벤치마크(Cora, Citeseer, Pubmed)에서 최신 기술(SOTA) 성능을 달성하며, 기존의 GCN 기반 모델을 능가한다.
• 링크 예측에서 뛰어난 일반화 성능을 보이며, Cora에서 AUC 93.1%, AP 93.2% 를 기록하여 GAE 및 VGAE와 같은 최신 기술 모델과 유사한 성능을 달성한다.
• t-SNE 시각화 결과, GCN 및 GAT과 비교해 학습된 노드 임베딩이 더 단단히 뭉쳐 있고, 특히 구분되는 클래스 간에 더 잘 분리되어 있음을 확인하였다.
• 이론적 분석을 통해 프레임워크가 모든 양의 준정적행렬 커널을 표현할 수 있음을 확인하였으며, 이는 표현력이 최대임을 보장한다.
• 단일단계 특징 집합 메커니즘은 재귀적 GCN 방식의 집합보다 더 효율적이며, 성능을 유지하거나 향상시킨다.
• 이 프레임워크는 GCN 및 그 변형과의 유연성과 상호보완성을 확보하여, 향후 GNN 연구의 일반 목적 컴포넌트로 활용 가능하다.