[논문 리뷰] Can Graph Neural Networks Help Logic Reasoning?

Yuyu Zhang, Xinshi Chen외 5명|arXiv (Cornell University)|2019. 06. 05.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 10

한 줄 요약

이 논문은 마르코프 논리 네트워크(Markov Logic Networks, MLNs)에서 확률적 논리 추론을 위한 확장성 있고 효과적인 방법을 제공하기 위해 유도적 그래프 신경망(GNNs)과 조정 가능한 전이형 임베딩을 조합한 하이브리드 모델인 ExpressGNN을 제안한다. 논리 공식으로 인해 발생하는 비대칭성을 해결함으로써, ExpressGNN은 지식 기반 완성 작업에서 최신 기술 성능을 달성하며, 낮은 데이터 환경에서 지도 학습 방법을 크게 능가하고, 새로운 관계에 대한 강력한 유추 일반화 능력을 보여준다.

ABSTRACT

Effectively combining logic reasoning and probabilistic inference has been a long-standing goal of machine learning: the former has the ability to generalize with small training data, while the latter provides a principled framework for dealing with noisy data. However, existing methods for combining the best of both worlds are typically computationally intensive. In this paper, we focus on Markov Logic Networks and explore the use of graph neural networks (GNNs) for representing probabilistic logic inference. It is revealed from our analysis that the representation power of GNN alone is not enough for such a task. We instead propose a more expressive variant, called ExpressGNN, which can perform effective probabilistic logic inference while being able to scale to a large number of entities. We demonstrate by several benchmark datasets that ExpressGNN has the potential to advance probabilistic logic reasoning to the next stage.

연구 동기 및 목표

• 지식 기반의 수많은 개체 수에 따라 조합적으로 증가하는 확률적 추론의 계산 비효율성 문제를 해결하기 위해, 대규모 마르코프 논리 네트워크(MLNs)에서의 확률적 추론의 계산 비효율성 문제를 해결한다.
• 일阶논리 공식으로 인해 발생하는 표현력의 제한이 존재하는 바에 불구하고, 그래프 신경망(GNNs)이 지식 기반을 효과적으로 표현하여 확률적 논리 추론을 수행할 수 있는지 조사한다.
• 표준 GNN을 사용할 경우 마르코프 논리 네트워크(MLN) 추론에서 비대칭 논리 공식으로 인해 발생하는 매개변수 설정의 일관성 문제를 해결한다.
• 표현력과 매개변수 효율성을 균형 잡는 모델을 위해, 유도적 GNN과 조정 가능한 임베딩을 조합한 확장성 있는 하이브리드 아키텍처를 개발한다.
• 제안된 방법이 전이형 및 유추 설정 모두에서 효과적이고 효율적인 추론을 가능하게 함을 보여주며, 특히 데이터가 부족한 조건에서 뛰어난 성능을 발휘한다.

제안 방법

• ExpressGNN는 지식 기반을 이원 그래프(엔티티와 관측된 사실의 이원 그래프)로 간주하여, 유도적 GNN 컴포넌트를 통해 노드 수준의 표현을 학습한다.
• 표준 GNN이 포착하지 못하는 마르코프 논리 네트워크(MLN)의 논리 공식으로 인한 비대칭성을 보완하기 위해, 별도의 전이형이고 조정 가능한 임베딩 컴포넌트를 도입한다.
• 모델은 평균 장 근사(mean field approximation)를 사용하여 추론을 수행하며, GNN과 조정 가능한 임베딩을 활용해 MLN 내 잠재 변수에 대한 변동 분포를 정의한다.
• 가중치가 부여된 잠재 함수를 통해 논리 공식을 통합하며, 관측된 사실에 대한 분류 기반 손실을 사용한 엔드 투 엔드 학습을 통해 공식의 가중치를 학습한다.
• 유도적 GNN을 통해 순수 전이형 방법 대비 매개변수 수를 줄여 매개변수 효율성을 확보한다.
• 전이형 및 유추 학습을 모두 지원하여, 훈련 중에 볼 수 없었던 새로운 엔티티와 관계에 대한 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 일阶논리 공식으로 인한 비대칭성 때문에, 표준 그래프 신경망(GNNs)이 마르코프 논리 네트워크(MLN)에서 확률적 논리 추론을 효과적으로 지원할 수 있는가?
• RQ2 표준 GNN이 MLN 추론에서 일관된 매개변수 설정을 제공하지 못하는 이유는 무엇이며, 이러한 실패의 근본적인 구조적 제약은 무엇인가?
• RQ3 유도적 GNN과 조정 가능한 임베딩을 조합한 하이브리드 아키텍처가 순수 전이형 또는 GNN 전용 접근 방식보다 더 높은 표현력과 확장성을 달성할 수 있는가?
• RQ4 제안된 방법은 낮은 데이터 환경에서 어떻게 성능을 발휘하며, 훈련 데이터에 존재하지 않는 새로운 엔티티와 관계에 대해 효과적으로 일반화할 수 있는가?
• RQ5 ExpressGNN은 대규모 지식 기반에 대해 얼마나 확장 가능하며, 확률적 논리 추론에서 높은 정확도와 효율성을 유지할 수 있는가?

주요 결과

• UW-CSE 및 Kinship 데이터셋에서 ExpressGNN은 14–20ms의 추론 시간을 기록하여, 업그레이드된 BP(321–525ms)와 MC-SAT(172–196ms)를 크게 앞서며 뛰어난 확장성 잠재력을 입증했다.
• FB15K-237에서 100% 훈련 데이터를 사용했을 때, ExpressGNN은 MRR 0.45와 Hits@10 57.3%를 달성하여 TransE(MRR: 0.28, Hits@10: 44.5%)와 NTN(MRR: 0.13, Hits@10: 23.9%)를 모두 능가했다.
• 훈련 데이터의 5%만을 사용했을 때, ExpressGNN은 MRR 0.42와 Hits@10 53.1%를 기록하여, 동일한 낮은 데이터 환경에서 Neural LP(MRR: 0.13, Hits@10: 23.2%)를 크게 앞섰다.
• 완전히 새로운 관계를 포함한 유추 설정에서, ExpressGNN은 MRR 0.18과 Hits@10 29.3%의 성능을 기록했고, TransE와 NTN는 근처의 0에 가까운 성능(MRR < 0.01)으로 급격히 떨어졌다.
• ExpressGNN은 지식 기반 완성 작업에서 최신 기술 성능을 달성하며, 뛀난 데이터 효율성과 유추 일반화 능력을 입증했다.
• 순수 전이형 방법 대비 훨씬 적은 매개변수로 높은 성능을 달성하여, 매개변수 효율성과 확장성의 우수함을 입증했다.