[논문 리뷰] A Flexible Generative Framework for Graph-based Semi-supervised Learning

Jiaqi Ma, Weijing Tang외 2명|arXiv (Cornell University)|2019. 05. 26.

Advanced Graph Neural Networks인용 수 24

한 줄 요약

이 논문은 확률적 그래픽 모델을 사용하여 노드 특징, 레이블 및 그래프 구조의 결합 분포를 모델링하는 유연한 생성 프레임워크를 제안한다. 확장 가능한 변분 추론과 네트워크 과학에서 유래한 무작위 그래프 모델의 통찰을 활용하여, 벤치마크 데이터셋에서 최신 기술보다 뛰어난 성능을 보이며, 특징, 레이블 및 구조적 종속성의 보다 우수한 통합을 통해 레이블 예측 정확도를 향상시킨다.

ABSTRACT

We consider a family of problems that are concerned about making predictions for the majority of unlabeled, graph-structured data samples based on a small proportion of labeled samples. Relational information among the data samples, often encoded in the graph/network structure, is shown to be helpful for these semi-supervised learning tasks. However, conventional graph-based regularization methods and recent graph neural networks do not fully leverage the interrelations between the features, the graph, and the labels. In this work, we propose a flexible generative framework for graph-based semi-supervised learning, which approaches the joint distribution of the node features, labels, and the graph structure. Borrowing insights from random graph models in network science literature, this joint distribution can be instantiated using various distribution families. For the inference of missing labels, we exploit recent advances of scalable variational inference techniques to approximate the Bayesian posterior. We conduct thorough experiments on benchmark datasets for graph-based semi-supervised learning. Results show that the proposed methods outperform state-of-the-art models under most settings.

연구 동기 및 목표

• 소수의 레이블이 부여된 예시만을 사용하여 그래프 구조 데이터에서 많은 수의 레이블이 없는 노드의 레이블을 예측하는 문제에 대응하기 위해.
• 기존의 그래프 정규화 및 최신 GNN의 한계를 극복하여 특징, 레이블 및 그래프 구조 간의 상호관계를 보다 효과적으로 활용하기 위해.
• 특징, 레이블 및 그래프 토폴로지의 결합 분포를 탄력적이고 확장 가능한 방식으로 모델링하는 통합된 확률적 프레임워크를 개발하기 위해.
• 베이지안 원리에 기반한 확장 가능한 변분 추론 기법을 통해 누락된 레이블의 효과적인 추론을 가능하게 하기 위해.
• 다양한 그래프 기반 준지도 학습 벤치마크에서 기존 최신 기술 모델들보다 제안된 프레임워크의 우수성을 입증하기 위해.

제안 방법

• 프레임워크는 네트워크 과학에서 유래한 무작위 그래프 모델의 영감을 받은 확률적 그래픽 모델을 사용하여 노드 특징, 레이블 및 그래프 구조의 결합 분포를 모델링한다.
• 다양한 분포 가족을 사용할 수 있도록 허용하여 그래프 내의 다양한 유형의 관계 및 특징 종속성을 모델링하는 데 탄력성을 제공한다.
• 관측된 특징과 그래프 구조를 바탕으로 레이블에 대한 복잡한 베이지안 사후분포를 근사하기 위해 확장 가능한 변분 추론을 적용한다.
• 생성 모델의 파라미터와 변분 근사의 파라미터를 동시에 최적화하여 엔드 투 엔드 학습이 가능하도록 한다.
• 노드와 그 속성에 대한 전체 결합 분포를 모델링하므로 전이적 및 인도적 학습 설정을 모두 지원한다.
• 그래프의 관계적 구조를 정규화 요소로만 사용하는 것이 아니라, 레이블과 특징의 생성 과정의 핵심 구성 요소로 활용한다.

실험 결과

연구 질문

• RQ1 특징, 레이블 및 그래프 구조를 동시에 포괄하는 통합 생성 모델이 분류 기반 GNN 및 전통적 그래프 정규화보다 성능이 뛰어나게 될 수 있는가?
• RQ2 복잡하고 고차원적인 그래프 구조의 결합 분포에서 레이블에 대한 사후분포를 근사하기 위해 확장 가능한 변분 추론이 얼마나 효과적으로 적용될 수 있는가?
• RQ3 전체 결합 분포를 모델링하는 것이 낮은 레이블 데이터 환경에서 일반화 능력과 강건성에 얼마나 기여하는가?
• RQ4 다양한 분포 가족을 선택할 수 있는 프레임워크의 탄력성이 다양한 그래프 데이터셋에서의 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 프레임워크가 전이적 및 인도적 학습 설정 모두에서 뛰어난 성능을 유지하는가?

주요 결과

• 제안된 프레임워크는 여러 벤치마크 그래프 기반 준지도 학습 데이터셋에서 최고 성능을 달성한다.
• 대부분의 실험 설정에서 기존 최신 기술 모델보다 일관되게 뛰어난 성능을 보이며, 특히 낮은 레이블 데이터 환경에서 두각을 나타낸다.
• 특징, 레이블 및 그래프 구조를 통합 생성 모델을 통해 통합함으로써 더 강건하고 정확한 레이블 예측이 가능해진다.
• 확장 가능한 변분 추론은 효과적이고 효율적인 사후 근사가 가능하게 하여 대규모 그래프에 대한 실용성을 확보한다.
• 다양한 분포 가족을 선택할 수 있는 프레임워크의 탄력성 덕분에 다양한 데이터 특성과 그래프 유형에 적응할 수 있다.
• 실험 결과는 특징, 레이블 및 구조를 별도로 다루거나 약한 결합을 사용하는 방법보다 전체 분포를 모델링함으로써 상당한 성능 향상이 이루어짐을 입증한다.