[논문 리뷰] Semi-Supervised Learning on Graphs Based on Local Label Distributions

Evgheniy Faerman, Felix Borutta외 2명|arXiv (Cornell University)|2018. 02. 15.

Advanced Graph Neural Networks참고 문헌 48인용 수 7

한 줄 요약

이 논문은 그래프의 이웃에서 국소적인 레이블 분포를 활용하여 분류 정확도를 향상시키는 새로운 준지도 학습 노드 분류 방법을 제안한다. 특히 동질성 또는 노드 속성이 약한 경우에 유용하다. APPR(잔차의 근사 개인화 전파) 기법을 사용해 이웃 노드의 레이블 정보를 집계함으로써, 노드 속성이 없어도 최신 기술 수준의 성능을 달성하며, 훈련 중에 보지 못한 노드로도 일반화된다.

ABSTRACT

Most approaches that tackle the problem of node classification consider nodes to be similar, if they have shared neighbors or are close to each other in the graph. Recent methods for attributed graphs additionally take attributes of neighboring nodes into account. We argue that the class labels of the neighbors bear important information and considering them helps to improve classification quality. Two nodes which are similar based on class labels in their neighborhood do not need to be close-by in the graph and may even belong to different connected components. In this work, we propose a novel approach for the semi-supervised node classification. Precisely, we propose a new node embedding which is based on the class labels in the local neighborhood of a node. We show that this is a different setting from attribute-based embeddings and thus, we propose a new method to learn label-based node embeddings which can mirror a variety of relations between the class labels of neighboring nodes. Our experimental evaluation demonstrates that our new methods can significantly improve the prediction quality on real world data sets.

연구 동기 및 목표

• 기존 그래프 기반 노드 분류 방법이 동질성 또는 노드 속성에 크게 의존하는 데서 비롯되는 한계를 해결하기 위해.
• 노드의 이웃에서의 클래스 레이블 정보를 효과적으로 활용하여 노드 임베딩 품질을 향상시키기 위해.
• 노드가 국소적으로 연결되어 있지 않거나 속성이 없을 경우에도 효과적인 레이블 기반 노드 임베딩 방법을 개발하기 위해.
• 노드의 국소 이웃에서의 레이블 분포를 활용하여 훈련 중에 보지 못한 노드의 분류를 가능하게 하기 위해.
• 실제 그래프 데이터셋에서 레이블 기반 특징이 속성 기반 방법과 경쟁하거나 슈퍼어리어할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 APPR(잔차의 근사 개인화 전파) 기법을 사용해 이웃 노드의 클래스 레이블을 집계함으로써 레이블 기반 노드 임베딩을 도입한다.
• 전이 확률 파rameter α로 제어되는 특정 거리 이내의 노드들 사이에서 레이블 분포를 계산함으로써 각 노드의 국소 이웃을 모델링한다.
• 알려진 노드에서 레이블 정보를 알려지지 않은 노드로 전파하는 개인화 랜덤 워크를 통해 레이블 분포를 계산한다.
• 결과로 도출된 레이블 기반 임베딩은 노드 속성과 함께 사용되거나 별도로 사용될 수 있어, 속성이 있는 그래프와 없는 그래프 모두에서 성능을 발휘한다.
• 이 방법은 동질성을 가정하지 않으며, 그래프 구조를 통해 레이블 정보를 전파함으로써 훈련 중에 보지 못한 노드의 분류도 가능하다.
• 표준 인용 네트워크(Cora, CiteSeer, PubMed)에서 마이크로-F1 점수를 사용해 평가하며, α 파rameter에 대한 분석을 통해 민감도를 평가한다.

실험 결과

연구 질문

• RQ1 노드 속성이 없거나 신뢰할 수 없을 경우, 노드의 이웃에서 국소적인 레이블 분포가 노드 분류 성능 향상에 기여할 수 있는가?
• RQ2 제안된 레이블 기반 임베딩은 준지도 학습 노드 분류에서 최신 기술 수준의 속성 기반 및 연결성 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ3 모델은 훈련 중에 보지 못한 노드로 일반화되는가? 동질성이 없는 경우 성능는 어떠한가?
• RQ4 전이 확률 파arameter α의 선택이 모델 성능에 얼마나 민감한가? 이는 이웃 범위를 제어한다.
• RQ5 레이블 기반 특징은 다른 특징(예: 노드 임베딩 또는 속성)과 효과적으로 조합될 수 있는가? 성능 향상에 기여하는가?

주요 결과

• 제안된 방법은 노드 속성을 사용하지 않아도 인용 네트워크(Cora, CiteSeer, PubMed)에서 경쟁적인 성능을 달성하며, 여러 강력한 베이스라인을 능가한다.
• PubMed 데이터셋에서는 전이 확률 파arameter α에 매우 민감한 성능을 보이며, 이는 이웃 범위가 성능에 상당한 영향을 미친다는 것을 시사한다.
• 새로운 노드로의 일반화가 잘 이루어지며, 많은 기존 모델이 새로운 노드를 위해 재학습이 필요로 하는 것과 달리, 재학습 없이도 성능이 유지된다.
• 다중 레이블 설정에서는 레이블 기반 임베딩을 노드 임베딩과 조합함으로써 성능 향상이 뚜렷하게 이루어진다.
• 동질성이 성립하지 않는 상황—예를 들어 노드의 레이블이 이웃과 다를 경우—에서도 효과적이며, 비동질성 그래프에 대한 강건성을 입증한다.
• 속성이 없는 그래프에서 최신 기술 수준의 결과를 달성함으로써, 이웃의 레이블 정보가 그래프 학습에서 강력하고도 미처 활용되지 않은 신호임을 입증한다.