[논문 리뷰] Non-Parametric Graph Learning for Bayesian Graph Neural Networks

Soumyasundar Pal, Saber Malekmohammadi외 4명|arXiv (Cornell University)|2020. 06. 23.

Advanced Graph Neural Networks참고 문헌 44인용 수 6

한 줄 요약

이 논문은 인접 행렬을 랜덤 변수로 모델링하고 작업별 거리 메트릭을 사용해 간선 가중치를 유도함으로써 그래프 구조의 불확실성을 추론하는 비모수 베이지안 그래프 학습 프레임워크를 제안한다. 이 방법은 노이즈가 있거나 완벽하지 않은 데이터로부터 더 정확한 그래프를 학습함으로써 노드 분류, 링크 예측, 추천 성능을 향상시키며, 벤치마크 데이터셋에서 정확도와 리콜에 상당한 향상을 이끌어내고 대규모 그래프에 효율적으로 스케일링된다.

ABSTRACT

Graphs are ubiquitous in modelling relational structures. Recent endeavours in machine learning for graph-structured data have led to many architectures and learning algorithms. However, the graph used by these algorithms is often constructed based on inaccurate modelling assumptions and/or noisy data. As a result, it fails to represent the true relationships between nodes. A Bayesian framework which targets posterior inference of the graph by considering it as a random quantity can be beneficial. In this paper, we propose a novel non-parametric graph model for constructing the posterior distribution of graph adjacency matrices. The proposed model is flexible in the sense that it can effectively take into account the output of graph-based learning algorithms that target specific tasks. In addition, model inference scales well to large graphs. We demonstrate the advantages of this model in three different problem settings: node classification, link prediction and recommendation.

연구 동기 및 목표

• 기존 그래프 신경망이 관측된 그래프가 완벽한 표현임을 전제로 하지만 노이즈와 불필요한 간선이 존재하는 점을 해결하기 위해.
• 그래프 구조를 불확실시하고 인접 행렬에 대한 사후 분포를 학습하는 유연한 비모수 베이지안 프레임워크를 개발하기 위해.
• 기존 그래프 학습 알고리즘과 통합 가능한 확장 가능한 그래프 추론을 가능하게 하여 파rametric 모델을 초월하는 일반화를 달성하기 위해.
• 노드 분류, 링크 예측, 추천과 같은 후행 작업의 성능을 향상시키기 위해 불확실성 인식 학습을 통해 그래프 구조를 정교화하기 위해.

제안 방법

• 이 방법은 쌍별 노드 거리 기반의 비모수 사전을 사용해 인접 행렬을 랜덤 변수로 모델링하며, 더 가까운 노드 간에 더 높은 간선 가중치를 할당한다.
• 추천과 같은 응용 분야에 적합한 작업별 거리 메트릭(예: 추천에 대한 코사인 거리)을 사용해 간선 확률을 유도함으로써 응용 분야에 맞춘 탄력적인 그래프 구축을 가능하게 한다.
• 변분 근사법을 사용해 인접 행렬에 대한 사후 분포를 근사하는 추론 절차를 적용함으로써 대규모 그래프에서의 확장 가능한 학습을 가능하게 한다.
• 최종 모델 학습 이전에 고가중치의 잘못된 음성 예측(가짜 음성)을 제거하는 음성 풀(positive pool) 최적화를 통해 기존 그래프 학습 알고리즘과 통합한다.
• 감독(노드 분류) 및 비감독(링크 예측, 추천) 설정 모두에 적용되며, 엔드 투 엔드 베이지안 학습이 가능하다.
• 효율적인 그래프 학습 기법(예: 근접 이웃 근사)을 활용해 그래프 품질 향상과 함께 확장성을 유지한다.

실험 결과

연구 질문

• RQ1 제한적인 모수적 가정에 의존하지 않고도 비모수적 베이지안 프레임워크가 그래프 구조의 불확실성을 효과적으로 모델링할 수 있는가?
• RQ2 학습된 그래프 불확실성을 통합할 경우 노드 분류, 링크 예측, 추천 작업의 성능 향상은 어떻게 이루어지는가?
• RQ3 작업별 거리 메트릭을 통합할 경우 추론된 그래프 구조의 품질과 관련성은 어느 정도 향상되는가?
• RQ4 제안된 방법은 대규모 그래프에 대해 기존 기준 모델 대비 성능을 유지하거나 향상시키며 효과적으로 스케일링되는가?
• RQ5 가짜 음성 간선을 식별하고 제거함으로써 암시적 추천 시스템에서 과적합을 줄이고 수렴을 향상시킬 수 있는가?

주요 결과

• 노드 분류 작업에서 제안된 베이지안 모델은 라벨가용성이 낮은 환경에서도 기준 모델 대비 더 높은 정확도를 달성하여 라벨 부족에 대한 강건성을 입증했다.
• 링크 예측 작업에서 변분 오토인코더 모델에 그래프 학습 단계를 통합함으로써 성능 향상이 이루어졌으며, 이는 불확실성 인식 그래프 추론의 가치를 보여주었다.
• 추천 작업에서 베이지안 모델(BMGCCF 및 BNGCF)은 기본 모델(MGCCF 및 NGCF) 대비 상당한 리콜 향상을 보였으며, BNGCF는 Amazon-Books 데이터셋에서 Recall@20가 31.4%를 기록했다.
• ML-100K 데이터셋에서는 높은 그래프 밀도로 인해 성능 향상이 덜 두드러졌으며, 이는 이점이 주로 희박하거나 노이즈가 많은 그래프에서 두드러진다는 것을 시사한다.
• ML-100K 데이터셋에서 베이지안 프레임워크는 테스트 세트 간선의 62.1%를 음성 후보 풀에서 제거했으며, 이는 가짜 음성 간선을 식별하고 제거할 수 있음을 확인했다.
• 학습 곡선 분석 결과 베이지안 모델(BMGCCF)는 더 빠른 수렴과 과적합 감소를 보였으며, 이는 최적화 안정성이 향상되었음을 시사한다.