[논문 리뷰] Graph Neural Networks Intersect Probabilistic Graphical Models: A Survey

Chenqing Hua, Sitao Luan외 2명|arXiv (Cornell University)|2022. 05. 24.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 종합 검토는 그래프 신경망(GNNs)과 확률적 그래픽 모델(PGMs)의 상호보완적 통합을 탐구하며, 각각이 어떻게 상호 보완적으로 기여하는지 보여준다: PGMs는 구조적 예측, 해석 가능성, 그래프 구조 학습을 통해 GNNs를 향상시키고, GNNs는 PGM 추론의 속도를 높이고 학습 효율성을 향상시킨다. 주요 기여는 두 분야 간 상호 교류를 위한 종합적인 프레임워크로, 기준 데이터셋과 향후 연구 방향이 규명되어 있다.

ABSTRACT

Graphs are a powerful data structure to represent relational data and are widely used to describe complex real-world data structures. Probabilistic Graphical Models (PGMs) have been well-developed in the past years to mathematically model real-world scenarios in compact graphical representations of distributions of variables. Graph Neural Networks (GNNs) are new inference methods developed in recent years and are attracting growing attention due to their effectiveness and flexibility in solving inference and learning problems over graph-structured data. These two powerful approaches have different advantages in capturing relations from observations and how they conduct message passing, and they can benefit each other in various tasks. In this survey, we broadly study the intersection of GNNs and PGMs. Specifically, we first discuss how GNNs can benefit from learning structured representations in PGMs, generate explainable predictions by PGMs, and how PGMs can infer object relationships. Then we discuss how GNNs are implemented in PGMs for more efficient inference and structure learning. In the end, we summarize the benchmark datasets used in recent studies and discuss promising future directions.

연구 동기 및 목표

• 확률적 그래픽 모델(PGMs)이 구조적 예측, 해석 가능성, 그래프 구조 학습 측면에서 그래프 신경망(GNNs)을 어떻게 향상시킬 수 있는지 조사하기.
• 고도화된 메시지 전달 메커니즘을 통해 GNNs가 추론 속도를 높이고 학습 효율성을 향상시켜 PGMs를 어떻게 향상시킬 수 있는지 검토하기.
• 노드 분류, 구조 학습, 정확한 추론 등의 작업에서 GNN-PGM 통합을 위한 기준 데이터셋을 식별하고 평가하기.
• 동질성, 확장성, 해석 가능성 등의 열린 과제를 해결하기 위해 하이브리드 모델링 접근법을 제안함으로써 그래프 학습에서의 문제 해결하기.
• 향후 연구를 이끌기 위해 주요 방향을 제시함: 더 큰 규모의 데이터셋과 실생활 응용에 적합한 해석 가능하고 화이트박스 기반의 모델

제안 방법

• 표준 GNNs의 독립성 가정을 초월하기 위해, PGM에서 유도된 조건부 랜덤 필드(CRFs)를 GNNs에 통합하여 노드 특징과 레이블 간의 의존성을 모델링한다.
• 백터베이즈 네트워크와 마르코프 무작위 필드와 같은 PGMs를 활용하여 GNN 예측의 해석 가능성을 제공하는 화이트박스 그래픽 모델을 제공함으로써 GNN 예측의 사후 해석 가능성을 높인다.
• 특징 유사도와 확률적 퍼텐셜 함수를 기반으로 간선을 추론함으로써 PGMs를 활용해 그래프 구조 학습을 수행함으로써 입력 그래프의 노이즈를 감소시킨다.
• 특히 순환성 또는 복잡한 그래프에서의 수렴성과 효율성을 향상시키기 위해, GNN의 메시지 전달 알고리즘을 수정하여 루프가 있는 신뢰도 전파(LBP)의 효율성과 수렴 속도를 향상시킨다.
• GNN의 표현 학습 능력과 PGM의 통계적 해석 가능성의 장점을 융합한 하이브리드 아키텍처를 제안하여 공동 추론 및 학습을 수행한다.
• 합성 데이터와 실세계 데이터셋(예: Human3.6M, LDPC, 20news)을 활용하여 노드 분류, DAG 학습, 정확한 추론 등의 작업에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 PGMs는 입력 특징과 출력 레이블 간의 의존성을 모델링함으로써 GNNs의 구조적 예측 성능을 어떻게 향상시킬 수 있는가?
• RQ2 해석 가능한 그래픽 모델과 사후 해석 기법을 통해 PGMs는 GNN 예측의 해석 가능성은 어떻게 향상시킬 수 있는가?
• RQ3 PGMs는 노이즈가 많거나 완전하지 않은 입력 데이터에서 GNNs가 강인하고 노이즈가 없는 그래프 구조를 어떻게 학습할 수 있도록 지원할 수 있는가?
• RQ4 GNNs는 특히 순환성 또는 복잡한 그래픽 구조에서 LBP의 추론 속도를 높이고 효율성을 향상시킬 수 있는가?
• RQ5 다양한 동질성 수준을 가진 대규모이고 다양한 실세계 그래프로의 GNN-PGM 통합을 확장할 때의 주요 과제와 기회는 무엇인가?

주요 결과

• PGMs는 CRFs를 통해 노드 특징과 레이블 간의 의존성을 명시적으로 모델링함으로써 독립성 가정을 초월하는 구조적 예측을 가능하게 하여, 기존의 독립성 가정 기반 예측보다 성능 향상을 이룬다.
• PGMs는 GNN 예측에 대해 화이트박스 기반의 해석 가능성을 제공함으로써 딥러닝 모델의 블랙박스 성향을 해결하고 인간이 이해할 수 있는 해석 가능성을 제공한다.
• PGM 기반의 그래프 구조 학습은 특징 유사도와 확률적 퍼텐셜을 기반으로 의미 있는 간선을 효과적으로 추론하여 노이즈를 감소시키고, 후속 GNN 성능을 향상시킨다.
• GNNs는 느린 루프가 있는 신뢰도 전파(LBP)를 대체할 수 있는 효율적이고 학습 가능한 메시지 전달 메커니즘을 도입함으로써 PGMs의 추론 속도를 크게 향상시킨다. 특히 순환성 또는 복잡한 그래프에서 유용하다.
• 현재 해석 가능성, 구조 학습, 정확한 추론 분야의 기준 데이터셋은 규모와 다양성 측면에서 여전히 제한되어 있어, 더 크고 대표성이 높은 실세계 데이터셋이 필요로 한다.
• 실세계 그래프에서는 동질성 가정이 자주 실패하지만, PGMs를 활용해 특징과 레이블에서 동질성 네트워크를 추론함으로써 비동질성 그래프에서도 GNN의 일반화 성능을 향상시킬 수 있다.