[논문 리뷰] Efficient Probabilistic Logic Reasoning with Graph Neural Networks

Yuyu Zhang, Xinshi Chen외 5명|arXiv (Cornell University)|2020. 01. 29.

Advanced Graph Neural Networks참고 문헌 34인용 수 36

한 줄 요약

ExpressGNN은 Markov Logic Networks와 그래프 신경망을 결합하여 대규모 지식 그래프에서 확장 가능한 변분 추론을 수행하고, 확률적 로직 추론을 효율적이고 효과적으로 수행합니다.

ABSTRACT

Markov Logic Networks (MLNs), which elegantly combine logic rules and probabilistic graphical models, can be used to address many knowledge graph problems. However, inference in MLN is computationally intensive, making the industrial-scale application of MLN very difficult. In recent years, graph neural networks (GNNs) have emerged as efficient and effective tools for large-scale graph problems. Nevertheless, GNNs do not explicitly incorporate prior logic rules into the models, and may require many labeled examples for a target task. In this paper, we explore the combination of MLNs and GNNs, and use graph neural networks for variational inference in MLN. We propose a GNN variant, named ExpressGNN, which strikes a nice balance between the representation power and the simplicity of the model. Our extensive experiments on several benchmark datasets demonstrate that ExpressGNN leads to effective and efficient probabilistic logic reasoning.

연구 동기 및 목표

• 논리 기반 사전 지식을 데이터 기반 그래프 표현과 결합하여 지식 그래프에서 확장 가능한 확률적 추론을 가능하게 한다.
• ExpressGNN가 MLN의 추론 네트워크로 작동하는 효율적인 변분 EM 프레임워크를 개발한다.
• 논리 규칙을 활용하는 동시에 데이터가 희소하고 긴 꼬리 관계 및 제로샷 상황을 처리한다.
• 산업 규모의 지식 그래프에 확장 가능하고 새로운 엔터티에 일반화될 수 있는 간결하고 표현력 있는 모델을 제공한다.]
• method njegova?
• method:

제안 방법

• 지식 그래프에 대한 일반적인 GNN과 조정 가능한 엔터티 임베딩을 결합한 두 수준 임베딩 스킴인 ExpressGNN를 제안한다.
• MLN에서 변분 EM 프레임워크의 평균장 근사에서 Q_theta(H|O)로 ExpressGNN를 추론 네트워크로 사용한다.
• E-스텝에서 근거 공식들을 샘플링하고 지역 기대치를 활용하여 계산 가능한 근사 추론을 수행한다; 필요시 추론 네트워크를 안내하기 위한 레이블 손실을 통한 감독 신호를 추가한다.
• M-스텝에서 마르코프 담요를 이용한 파생된 그래프와 자식 공식들로부터 얻은 그래프 좌표를 사용하여 유사-로그 우도를 통해 MLN 공식을 가중치를 최적화하며, 간결하고 부분 샘플링된 그래디언트 전략을 사용한다.
• 추론 네트워크가 보강 임베딩에 대해 로지스틱 MLP로 Q_theta(r(c1,c2))를 계산하도록 하여 엔드-투-엔드 차별화 가능한 학습을 가능하게 한다.
• 이 설정에서 GNN의 표현력과 구분 불가능한 엔터티를 구별하기 위한 조정 가능한 임베딩의 필요성을 이론적으로 정당화한다.

실험 결과

연구 질문

• RQ1 그래프 신경망 기반의 추론 네트워크가 prior 로직 규칙을 활용하면서 잠재 MLN 변수의 후방 분포를 효율적으로 근사할 수 있는가?
• RQ2 로직 규칙 사전 지식과 데이터 기반 그래프 표현의 결합이 대규모 희소 지식 그래프에서 확률적 추론을 개선하는가?
• RQ3 제안된 ExpressGNN 프레임워크가 산업 규모의 지식 베이스로 확장 가능하며 보이지 않는 술어에 대해 제로샷이나 소수샷 추론을 지원하는가?
• RQ4 GNN과 조정 가능한 임베딩을 MLN 추론에 사용했을 때 모델 간결함과 표현력 사이의 균형은 어떠한가?

주요 결과

• ExpressGNN은 MLN의 밀집한 바인딩 그래프가 아닌 지식 그래프에서 작동함으로써 확장 가능한 추론을 가능하게 한다.
• GNN 임베딩과 조정 가능한 엔터티 임베딩의 결합은 간결하되 표현력 있는 후방 분포를 제공하여 정확도와 확장성을 개선한다.
• ExpressGNN-E(오직 E-스텝)는 강력한 MLN 기반 기준선과 비교해 벤치마크 데이터셋에서 경쟁력 있거나 우수한 추론 정확도를 달성하며, 데이터셋 크기가 커져도 추론 시간 측면에서 우호적이다.
• 조정 가능한 임베딩과 GNN 구성은 파라미터 효율성과 표현력 사이의 유리한 트레이드오프를 제공하여 전체 큰 임베딩 테이블보다 적은 파라미터로 좋은 성능을 가능하게 한다.