[논문 리뷰] Probabilistic Logic Neural Networks for Reasoning

Meng Qu, Jian Tang|arXiv (Cornell University)|2019. 06. 20.

Advanced Graph Neural Networks참고 문헌 51인용 수 17

한 줄 요약

이 논문은 지식 그래프 추론 성능을 향상시키기 위해 마르코프 논리 네트워크(Markov Logic Networks)와 지식 그래프 임베딩을 통합한 확률적 논리 신경망인 pLogicNet을 제안한다. 변환 기반 추론과 변분 EM을 통한 논리 규칙 가중치 조정을 번갈아가며 적용함으로써, pLogicNet은 상징적 추론과 딥러닝을 효과적으로 융합하여, 단 2~3회 반복 내에 수렴하면서 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Knowledge graph reasoning, which aims at predicting the missing facts through reasoning with the observed facts, is critical to many applications. Such a problem has been widely explored by traditional logic rule-based approaches and recent knowledge graph embedding methods. A principled logic rule-based approach is the Markov Logic Network (MLN), which is able to leverage domain knowledge with first-order logic and meanwhile handle their uncertainty. However, the inference of MLNs is usually very difficult due to the complicated graph structures. Different from MLNs, knowledge graph embedding methods (e.g. TransE, DistMult) learn effective entity and relation embeddings for reasoning, which are much more effective and efficient. However, they are unable to leverage domain knowledge. In this paper, we propose the probabilistic Logic Neural Network (pLogicNet), which combines the advantages of both methods. A pLogicNet defines the joint distribution of all possible triplets by using a Markov logic network with first-order logic, which can be efficiently optimized with the variational EM algorithm. In the E-step, a knowledge graph embedding model is used for inferring the missing triplets, while in the M-step, the weights of logic rules are updated based on both the observed and predicted triplets. Experiments on multiple knowledge graphs prove the effectiveness of pLogicNet over many competitive baselines.

연구 동기 및 목표

• 기존의 논리 규칙 기반 방법은 추론 복잡도와 불확실성 처리에 어려움을 겪고, 지식 그래프 임베딩 방법은 해석 가능성과 도메인 지식 통합이 부족한 점을 해결하기 위해.
• 일阶 논리 규칙을 통한 상징적 지식과 딥러닝 임베딩을 통한 효율적이고 확장 가능한 추론을 활용하는 통합 프레임워크를 개발하기 위해.
• 임베딩을 통한 암시적 추론을 활용하여 논리 규칙의 효과적이고 효율적인 학습을 가능하게 하여, 누락된 삼중항의 일반화 및 커버리지 향상을 위해.
• 논리 규칙과 학습된 임베딩을 융합할 경우 표준 지식 그래프 벤치마크 데이터셋에서 뛰어난 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• pLogicNet는 모든 삼중항의 결합 분포를 마르코프 논리 네트워크(MLN)로 모델링하며, 각 논리 규칙은 학습 가능한 가중치를 갖는다.
• 이 프레임워크는 변분 EM 알고리즘을 활용한다: E단계에서는 지식 그래프 임베딩 모델이 암시적 평균장 추론을 수행하여 은닉(누락된) 삼중항을 추정한다.
• M단계에서는 관측된 삼중항과 추론된 삼중항을 기반으로 가짜우도를 최적화하여 규칙 가중치를 갱신함으로써 엔드 투 엔드 학습이 가능하다.
• 모델은 확률적 경사 하강법을 통해 학습되어 대규모 지식 그래프에서 효율적인 최적화가 가능하다.
• 구성, 역관계, 대칭, 하위관계와 같은 네 가지 규칙 패턴을 사용하여 다양한 관계 패턴을 포괄한다.
• 반복 학습 과정에서 임베딩 예측 결과를 감독 신호로 활용하여 논리 규칙의 효과성을 동적으로 향상시킨다.

실험 결과

연구 질문

• RQ1 상징적 논리 규칙과 신경망 임베딩을 융합하면 지식 그래프의 추론 성능이 향상되는가?
• RQ2 지식 그래프 임베딩의 통합이 마르코프 논리 네트워크의 추론 능력에 어떻게 기여하는가?
• RQ3 다양한 논리 규칙 패턴(예: 역관계, 대칭, 구성)이 추론 성능에 미치는 영향은 어느 정도인가?
• RQ4 제안된 프레임워크의 학습 과정은 수렴 속도와 확장성 측면에서 얼마나 효율적인가?
• RQ5 다양한 관계 구조를 가진 다양한 지식 그래프 데이터셋 간에 모델이 일반화 가능한가?

주요 결과

• pLogicNet는 FB15k와 FB15k-237에서 각각 MRR 0.844와 0.441을 기록하며, 모든 메트릭에서 베이스라인을 초월하는 최신 기술 수준의 성능을 달성한다.
• FB15k에서 TransE를 사용한 pLogicNet는 Hit@1이 81.2%를 기록하여 기반 모델(71.4%)에 비해 뚜렷한 향상을 보였다.
• 모델은 단 2~3회 반복 내에 수렴하여 높은 학습 효율성을 입증했다.
• 세 번째 반복에서 pLogicNet는 FB15k에서 76,000개 이상의 양성 삼중항을 발견하였고, 정밀도는 약 79%로 안정되어 있어 임베딩에서 유도된 효과적인 감독 신호를 확인할 수 있었다.
• ComplEx를 추론 모델로 사용할 경우 WN18RR에서 H@10가 55.7%에 도달하여 다양한 관계 유형 간 강력한 일반화 능력을 입증했다.
• 다양한 규칙 패턴은 각기 다른 영향을 미친다: FB15k에서는 역관계 및 대칭 규칙이 가장 효과적이었고, FB15k-237에서는 구성 및 하위관계 규칙이 지배적인 영향을 미쳤다.