[논문 리뷰] Bootstrapped Graph Diffusions: Exposing the Power of Nonlinearity

Eliav Buchnik, Edith Cohen|arXiv (Cornell University)|2017. 03. 07.

Advanced Graph Neural Networks참고 문헌 26인용 수 8

한 줄 요약

이 논문은 자기학습 프레임워크인 부트스트랩된 그래프 확산을 제안하며, 고전적인 선형 그래프 확산(예: 레이블 전파)에 비선형성을 적용하여 준지도 학습을 수행한다. 예측을 반복적으로 개선하고 재학습함으로써, citation 네트워크에서 최신 기술 수준(SOTA) 성능을 달성하면서도 선형 방법의 확장성은 유지한다.

ABSTRACT

Graph-based semi-supervised learning (SSL) algorithms predict labels for all nodes based on provided labels of a small set of seed nodes. Classic methods capture the graph structure through some underlying diffusion process that propagates through the graph edges. Spectral diffusion, which includes personalized page rank and label propagation, propagates through random walks. Social diffusion propagates through shortest paths. A common ground to these diffusions is their {\em linearity}, which does not distinguish between contributions of few "strong" relations and many "weak" relations. Recently, non-linear methods such as node embeddings and graph convolutional networks (GCN) demonstrated a large gain in quality for SSL tasks. These methods introduce multiple components and greatly vary on how the graph structure, seed label information, and other features are used. We aim here to study the contribution of non-linearity, as an isolated ingredient, to the performance gain. To do so, we place classic linear graph diffusions in a self-training framework. Surprisingly, we observe that SSL using the resulting {\em bootstrapped diffusions} not only significantly improves over the respective non-bootstrapped baselines but also outperform state-of-the-art non-linear SSL methods. Moreover, since the self-training wrapper retains the scalability of the base method, we obtain both higher quality and better scalability.

연구 동기 및 목표

• 비선형성의 영향을 그래프 기반 준지도 학습(SSL)에서 분리하고 평가하기 위해 GCN과 같은 복잡한 비선형 모델과 비교한다.
• 간단하고 확장성이 뛰어난 선형 그래프 확산이 비선형성 유도 워핑(wrapper)을 통해 향상되었을 때 우수한 성능을 낼 수 있는지 조사한다.
• 자기학습(부트스트랩핑)이 선형 확산 방법의 성능을 크게 향상시키지만, 계산 효율성은 유지하는지 보여준다.
• 부트스트랩핑을 통해 비선형성을 적용할 경우, 특징 공학이나 모델 복잡성 외의 요소가 SSL 성능 향상의 핵심 요인임을 경험적으로 입증한다.

제안 방법

• 비선형성을 유도하는 워핑을 통해 고전적인 선형 그래프 확산(예: 레이블 전파, 특징 전파)에 자기학습 워핑을 적용한다. 이는 비라벨 노드에 대해 반복적으로 가짜 레이블을 생성하고 확장된 라벨 집합으로 재학습하는 방식이다.
• 안정성과 수렴 성능을 향상시키기 위해, 특히 고차원 또는 희박한 그래프에서 안정적인 확산을 위해 정규화된 그래프 라플라시안을 사용한다.
• 레이블과 동일한 확산 커널을 사용하여 노드 특징을 그래프 전역으로 확산시킴으로써 노드 특징을 확산 과정에 통합한다.
• 예측의 반복적 재가중을 통해 비선형성을 도입하면서도 원래의 선형 확산 메커니즘(예: 자코비 반복)을 유지한다.
• 부트스트랩핑 중 저신뢰도 예측을 걸러내기 위해 신뢰도 임계값 전략을 사용하여 노이즈 누적을 줄인다.
• 고정 및 무작위로 설정된 훈련/검증 분할을 사용하여 벤치마크 citation 네트워크(Cora, Citeseer, PubMed)에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 자기학습을 통해 비선형성을 도입하면 고전적인 선형 그래프 확산의 준지도 학습 성능이 유의미하게 향상되는가?
• RQ2 부트스트랩된 선형 확산은 표준 citation 네트워크 벤치마크에서 GCN 및 Planetoid와 같은 최신 기술 수준의 비선형 모델을 능가할 수 있는가?
• RQ3 확산 방법의 선택(예: 정규화된 vs. 비정규화된 라플라시안)이 부트스트랩 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ4 특징 전파를 통해 노드 특징을 통합하면 부트스트랩된 확산의 성능이 추가로 향상되는가?
• RQ5 부트스트랩핑 과정에서 기반 선형 방법의 확장성은 어느 정도 유지되는가?

주요 결과

• 부트스트랩된 정규화된 라플라시안 레이블 전파 방법은 Cora에서 72.8%의 정확도를 기록했으며, Citeseer에서는 53.6%를 기록하여 원본 방법을 초월하고 GCN 성능과 동등하거나 이를 능가했다.
• Cora에서 부트스트랩된 정규화된 특징 전파 방법은 82.9%의 정확도를 달성하여 원본의 82.4%를 초월했고, 동일한 벤치마크에서 GCN(81.5%)의 성능을 뛰어넘었다.
• PubMed에서는 부트스트랩된 정규화된 라플라시안 레이블 전파 방법이 78.8%의 정확도를 기록하여 GCN의 79.0%에 약간 못 미쳤지만, 비부트스트랩 기반 모델보다는 유의미하게 뛰어났다.
• 노드 특징을 그래프 전역으로 확산시키는 특징 전파를 사용함으로써 원시 특징만 사용하는 것보다 성능 향상이 있었으며, 세 데이터셋 평균 12%의 향상이 이루어졌다.
• 부트스트랩핑은 Cora와 Citeseer에서 일관되게 성능 향상을 이끌었으며, 정확도 향상 최대 10%를 기록했고, 기반 방법이 이미 최적에 가까운 PubMed에서는 최소한의 향상만을 보였다.
• 자기학습 워핑은 기반 선형 방법의 확장성을 유지했으며, 깊은 신경망의 계산 부담 없이 대규모 그래프에서 효율적인 훈련을 가능하게 했다.