[논문 리뷰] Neural Markov Logic Networks

Giuseppe Marra, Ondřej Kuželka|Lirias (KU Leuven)|2019. 05. 31.

Bayesian Modeling and Causal Inference참고 문헌 43인용 수 7

한 줄 요약

신경 마르코프 논리망(Neural Markov Logic Networks, NMLNs)는 마르코프 논리망(Markov Logic Networks)의 수작업으로 구성된 논리 규칙을 학습 가능한 신경 퍼텐셜 함수로 대체하는 가중치 미분이 가능한 종단 간 통합 통계적 관계학습 프레임워크를 제안한다. 조각 기반 신경 퍼텐셜을 통해 관계적 대칭성을 모델링함으로써 NMLNs는 관계 구조의 동시 확률 모델링을 가능하게 하며, 사전 정의된 논리 규칙이나 일정 임베딩에 의존하지 않고 지식 기반 보완, 삼중체 분류, 분자 그래프 생성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce neural Markov logic networks (NMLNs), a statistical relational learning system that borrows ideas from Markov logic. Like Markov logic networks (MLNs), NMLNs are an exponential-family model for modelling distributions over possible worlds, but unlike MLNs, they do not rely on explicitly specified first-order logic rules. Instead, NMLNs learn an implicit representation of such rules as a neural network that acts as a potential function on fragments of the relational structure. Similarly to many neural symbolic methods, NMLNs can exploit embeddings of constants but, unlike them, NMLNs work well also in their absence. This is extremely important for predicting in settings other than the transductive one. We showcase the potential of NMLNs on knowledge-base completion, triple classification and on generation of molecular (graph) data.

연구 동기 및 목표

• 기존 마르코프 논리망(MLNs)이 수작업으로 구성된 논리 규칙 또는 조합적 구조 학습이 필요로 하는 한계를 해결하기 위해.
• 명시적인 일阶 논리 규칙에 의존하지 않고 관계 구조의 동시 확률 분포를 학습할 수 있는 통계적 관계학습 모델을 개발하기 위해.
• 일정 임베딩이 없는 경우에도 효과적으로 학습이 가능한 전이적(transductive) 및 추론적(inductive) 설정을 지원하기 위해.
• 신경망의 표현 학습 능력과 확률적 논리의 불확실성 모델링 능력을 원칙적인 최대 엔트로피 프레임워크에서 통합하기 위해.
• 지식 기반 보완, 삼중체 분류, 분자 그래프 생성 등 다양한 작업에서 모델의 효과성을 입증하기 위해.

제안 방법

• NMLNs는 관계 구조의 일부 조각을 기반으로 관계 퍼텐셜 함수를 정의하며, 신경망을 통해 논리적 규칙성을 암묵적으로 표현한다.
• 모델은 가능한 세계의 하위구조(조각)에 대한 매개변수화된 함수인 조각 퍼텐셜을 사용하며, 경사 하강법을 통해 학습한다.
• 글로벌 퍼텐셜 함수는 조각 퍼텐셜에서 구성되며, 전체 관계 구조에 대한 동시 분포 모델링을 가능하게 한다.
• 프레임워크는 최소-최대 엔트로피 원리에 기반하여 모델 설계에 대한 이론적 근거를 제공한다.
• 신경 아키텍처는 관계 데이터의 대칭성을 활용하도록 설계되어, 다양한 일정 집합 간 일반화를 가능하게 한다.
• 모델은 추론적 및 전이적 추론을 모두 지원하며, 일정 임베딩이 제공되지 않는 경우에도 효과적으로 작동한다.

실험 결과

연구 질문

• RQ1 신경망 기반의 퍼텐셜 함수가 통계적 관계학습 모델에서 수작업으로 구성된 논리 규칙을 효과적으로 대체할 수 있는가?
• RQ2 가중치 미분이 가능한 종단 간 학습 프레임워크에서 관계적 대칭성을 어떻게 체계적으로 표현할 수 있는가?
• RQ3 일정 임베딩이 제공되지 않거나 사용되지 않는 추론적 설정에서도 NMLNs가 일반화할 수 있는가?
• RQ4 지식 그래프 임베딩과 같은 전문화된 모델과 비교해 볼 때, NMLNs는 링크 예측 및 분자 생성과 같은 작업에서 성능가능성이 있는가?
• RQ5 기존의 많은 KGE 방법이 부족한 바에 비해, NMLNs는 단항 관계(속성)와 이항 관계(링크)를 동시에 모델링할 수 있는가?

주요 결과

• NMLNs는 지식 기반 보완 및 삼중체 분류 작업에서 기존의 MLNs와 지식 그래프 임베딩 방법을 모두 능가하는 최신 기술 수준의 성능을 달성한다.
• 모델는 실제 분자와 통계적으로 구별되지 않는 화학적 성질을 갖는 현실적인 분자 그래프를 성공적으로 생성하여 강력한 생성 능력을 입증한다.
• 일정 임베딩이 없는 경우에도 NMLNs는 우수한 성능을 보이며, 전이 설정을 초월한 추론적 학습에 적합하다.
• 프레임워크는 단항 관계와 이항 관계를 동시에 모델링할 수 있으며, 이는 표준 지식 그래프 임베딩 방법에서 부족한 능력이다.
• 실험 결과 NMLNs는 고전적 MLNs에서 수천 개의 논리 규칙이 필요로 하는 복잡한 관계적 규칙성을 암묵적으로 학습할 수 있음을 보여준다.
• 모델는 확장성이 뛰어나 효율적이며, 특화된 서브클래스를 통해 예측 성능을 유지하면서도 더 빠른 추론을 가능하게 한다.