[논문 리뷰] Graph Convolutional Networks using Heat Kernel for Semi-supervised Learning

Bingbing Xu, Huawei Shen외 3명|arXiv (Cornell University)|2020. 07. 27.

Advanced Graph Neural Networks참고 문헌 18인용 수 7

한 줄 요약

이 논문은 열핵을 사용하여 저주파 필터를 강화하고 그래프 신호의 스무딩을 강제함으로써, 열확산을 통해 동적으로 인접 노드를 결정하는 그래프 컨volution 네트워크인 GraphHeat를 제안한다. 이는 고정된 이웃 순서에 의존하지 않고 국소적 구조를 민첩하게 포착함으로써, Cora, Citeseer, PubMed에서 반감독 노드 분류 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Graph convolutional networks gain remarkable success in semi-supervised learning on graph structured data. The key to graph-based semisupervised learning is capturing the smoothness of labels or features over nodes exerted by graph structure. Previous methods, spectral methods and spatial methods, devote to defining graph convolution as a weighted average over neighboring nodes, and then learn graph convolution kernels to leverage the smoothness to improve the performance of graph-based semi-supervised learning. One open challenge is how to determine appropriate neighborhood that reflects relevant information of smoothness manifested in graph structure. In this paper, we propose GraphHeat, leveraging heat kernel to enhance low-frequency filters and enforce smoothness in the signal variation on the graph. GraphHeat leverages the local structure of target node under heat diffusion to determine its neighboring nodes flexibly, without the constraint of order suffered by previous methods. GraphHeat achieves state-of-the-art results in the task of graph-based semi-supervised classification across three benchmark datasets: Cora, Citeseer and Pubmed.

연구 동기 및 목표

• 반감독 학습에서 구조적 스무딩을 반영하는 적절한 이웃 관계를 정의하는 데 도전하는 것.
• 공간적 방법에서 고정된 이웃 순서 정의의 한계와 스펙트럼 방법의 높은 계산 비용을 극복하는 것.
• 열핵을 사용하여 저주파 성분을 강조하고 고주파 노이즈를 억제함으로써 레이블 스무딩을 향상시키는 것.
• 지역 구조에 맞게 적응하는 유연한, 구조 인식형 이웃 선택 메커니즘을 개발하는 것.

제안 방법

• 저주파 고유벡터에 더 높은 가중치를 부여함으로써 그래프 상의 스무딩된 신호 변화를 강조하기 위해 열핵 $ e^{-s\mathcal{L}} $ 를 활용한다.
• 목표 노드의 인접 노드를 결정하기 위해 열확산을 사용하여, 고정된 순서 기반 이웃 제약을 동적이고 구조 인식형 선택으로 대체한다.
• 정규화된 라플라시안 행렬에 열핵을 적용하여 고주파 노이즈를 필터링하는 학습 가능한 컨볼루션 연산을 정의한다.
• 열핵의 고역통과 필터링 성질을 활용해 레이블 스무딩에 집중함으로써 반감독 학습을 위한 모델을 단순화한다.
• 열핵의 전이 확률을 사용해 노드 간 유사도를 계산하여, 민첩하고 적응 가능한 이웃 범위를 가능하게 한다.
• 열확산의 영향 범위를 제어할 수 있는 스케일링 파rameter $ s $ 를 도입하여 국소적 영향과 확장된 이웃의 영향 사이의 균형을 조정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 그래프 구조 데이터에서 레이블과 특징의 스무딩을 더 잘 포착할 수 있도록 그래프 컨볼루션을 어떻게 설계할 수 있는가?
• RQ2 열확산은 공간적 그래프 컨볼루션에서 고정된 순서 기반 이웃 선택의 더 민첩하고 구조 인식형 대안이 될 수 있는가?
• RQ3 기존 GCN 변종과 비교해 열핵을 필터로 사용할 경우 반감독 노드 분류에서 일반화 성능이 얼마나 향상되는가?
• RQ4 열확산을 통한 동적 이웃 선택은 다양한 그래프 데이터셋에서 서로 다른 구조를 가진 경우 성능에 어떻게 영향을 미치는가?
• RQ5 스케일링 파rameter $ s $ 는 모델이 국소 세부 정보와 전반적 스무딩을 어떻게 균형 잡는 데 영향을 미치는가?

주요 결과

• GraphHeat는 Cora, Citeseer, PubMed 데이터셋에서 반감독 노드 분류 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 모델은 세 가지 벤치마크 데이터셋 전반에서 GCN 및 기타 베이스라인을 일관되게 능가하며, 뛰어난 일반화 성능을 보여준다.
• 열확산 파rameter $ s $ 를 증가시키면 초기에는 관련 정보를 더 많이 포착함으로써 정확도가 향상되지만, 과도한 값은 관련 없는 노드를 포함시켜 성능 저하를 초래한다.
• 해당 방법은 노드별로 이웃 범위를 동적으로 조정하며, 사례 연구에서 일부 노드는 제2차 이웃 및 심지어 거리가 먼 노드까지 포함하는 것으로 나타났다.
• 열확산을 사용함으로써 일부 경우, 예를 들어 $[e^{-sL}]_{a,c} > [e^{-sL}]_{a,b}$ 와 같이 제2차 이웃에 더 높은 가중치를 부여할 수 있으며, 이는 적응형 이웃 선택을 보여준다.
• 제거 분석 결과, 열핵의 저역통과 필터링 성질이 고주파 노이즈를 효과적으로 억제하여 예측의 강건성과 스무딩을 향상시킨다는 점이 확인되었다.