[논문 리뷰] Bayesian Semi-supervised Learning with Graph Gaussian Processes

Yin Cheng Ng, Nicolò Colombo외 1명|arXiv (Cornell University)|2018. 09. 12.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 20

한 줄 요약

이 논문은 그래프 구조와 노드 특징을 활용하여 최소한의 레이블 데이터로도 최신 기술 수준의 성능을 달성하는 Graph Gaussian Processes(GGP)를 사용하는 베이지안 준지도 학습 모델을 제안한다. 이 방법은 유도점 기반 변분 추론을 사용하여 검증 기반 조기 정지 없이도 확장 가능한 훈련을 가능하게 하며, 레이블이 부족한 환경에서 그래프 신경망과 레이블 전파보다 우수한 성능을 보인다.

ABSTRACT

We propose a data-efficient Gaussian process-based Bayesian approach to the semi-supervised learning problem on graphs. The proposed model shows extremely competitive performance when compared to the state-of-the-art graph neural networks on semi-supervised learning benchmark experiments, and outperforms the neural networks in active learning experiments where labels are scarce. Furthermore, the model does not require a validation data set for early stopping to control over-fitting. Our model can be viewed as an instance of empirical distribution regression weighted locally by network connectivity. We further motivate the intuitive construction of the model with a Bayesian linear model interpretation where the node features are filtered by an operator related to the graph Laplacian. The method can be easily implemented by adapting off-the-shelf scalable variational inference algorithms for Gaussian processes.

연구 동기 및 목표

• 그래프 구조 데이터에 대한 데이터 효율적인 베이지안 모델을 개발한다.
• 그래프 기반 학습에서 흔히 발생하는 낮은 레이블 수 상황에서의 과적합 문제를 해결한다.
• 변분 하한을 활용하여 검증 세트가 필요 없이 정규화를 수행함으로써 모델 훈련 시 검증 세트가 필요 없도록 한다.
• 적절한 할당 함수를 사용하여 유의미한 노드를 선택함으로써 활성 학습에서 일반화 성능을 향상시킨다.
• 더 나은 불확실성 캘리브레이션과 샘플 효율성을 제공하는 딥 그래프 신경망에 대한 원칙적인 베이지안 대안을 제공한다.

제안 방법

• 모델은 노드 함수에 대한 가우시안 프로세스 사전분포를 사용하며, 그래프 라플라시안 기반 필터링을 통합한 커널 함수를 통해 관계적 인덕티브 바이어스를 구현한다.
• 확장 가능한 추론을 위해 유도점 기반 변분 근사법을 적용하여 대규모 그래프에 적용 가능하게 한다.
• 예측 평균은 그래프 연결성과 커널 유사도에 따라 결정되는 가중치를 사용해 레이블이 부여된 노드 특징의 가중 평균으로 계산된다.
• 이 방법은 네트워크 구조에 의해 국소적으로 가중되는 경험적 분포 회귀로 해석되며, 커널 평균 임베딩 방법과 연결된다.
• 활성 학습에서 다음으로 가장 정보가 많은 노드를 선택하기 위해 기대 개선도(SOPT) 기반의 할당 함수를 사용한다.
• 모델은 ADAM 최적화를 사용하여 종합적인 하이퍼파ram터 및 유도점 최적화를 동시에 수행하는 엔드 투 엔드 학습 방식을 사용한다.

실험 결과

연구 질문

• RQ1 베이지안 가우시안 프로세스 모델은 준지도 학습 노드 분류에서 그래프 신경망과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 제안된 그래프 가우시안 프로세스 모델은 매우 적은 수의 레이블 예제가 있는 활성 학습에서 어떻게 성능을 내는가?
• RQ3 검증 세트를 통한 조기 정지를 요구하지 않고도 과적합을 방지할 수 있는가?
• RQ4 그래프 라플라시안은 모델의 인덕티브 바이어스를 어떻게 형성하는가?
• RQ5 데이터 부족 상황에서 모델의 성능은 레이블 전파 및 GCNs와 비교해 어떻게 되는가?

주요 결과

• GGP 모델은 활성 학습에서 SOPT 할당 함수를 사용하여 Cora에서 AUC 0.733 ± 0.001, Citeseer에서 AUC 0.678 ± 0.002를 달성하여 GCN과 레이블 전파를 모두 능가했다.
• 초기 레이블이 하나뿐인 조건에서도, 50개 이하의 레이블 수에 걸쳐 GGP는 GCN과 레이블 전파보다 높은 테스트 정확도를 기록했다.
• 다양한 무작위 초기화에 대해 성능의 분산이 유의미하게 작아, 초기화에 대한 강건성을 보였다.
• 변분 하한이 본질적으로 과적합을 방지하는 정규화 역할을 하므로, 검증 세트가 필요 없이도 조기 정지를 하지 않아도 되었다.
• 학습 곡선에서 매우 작은 오차 막대를 통해 SOPT 할당 함수가 초기 레이블 노드의 선택에 민감하지 않음을 확인했다.
• 무작위 할당에 대해서도 GGP의 성능은 GCN보다 더 안정적이었으며, 데이터 셔플링에 대한 내재적 강건성이 뛰어나다는 것을 시사했다.