[논문 리뷰] Logical Entity Representation in Knowledge-Graphs for Differentiable Rule Learning

Chi Han, Qizheng He외 4명|arXiv (Cornell University)|2023. 05. 22.

Data Quality and ManagementDecision Sciences인용 수 3

한 줄 요약

이 논문은 지식 그래프 내 엔티티 주변의 문맥적 서브그래프 정보를 인코딩하는 미분 가능하고 해석 가능한 확률적 논리 함수의 벡터 표현인 논리적 엔티티 표현(LERP)을 제안한다. LERP를 확률적 논리 규칙 학습에 통합함으로써 모델은 더 표현력 있는 규칙을 학습하게 되며, 지식 그래프 완성 벤치마크에서 최신 기술 수준의 성능을 달성하며, 규칙 기반 기준선 및 TransE와 같은 블랙박스 방법을 모두 능가한다. 이는 명시적인 논리 규칙을 통해도 해석 가능성을 유지한다.

ABSTRACT

Probabilistic logical rule learning has shown great strength in logical rule mining and knowledge graph completion. It learns logical rules to predict missing edges by reasoning on existing edges in the knowledge graph. However, previous efforts have largely been limited to only modeling chain-like Horn clauses such as $R_1(x,z)\land R_2(z,y)\Rightarrow H(x,y)$. This formulation overlooks additional contextual information from neighboring sub-graphs of entity variables $x$, $y$ and $z$. Intuitively, there is a large gap here, as local sub-graphs have been found to provide important information for knowledge graph completion. Inspired by these observations, we propose Logical Entity RePresentation (LERP) to encode contextual information of entities in the knowledge graph. A LERP is designed as a vector of probabilistic logical functions on the entity's neighboring sub-graph. It is an interpretable representation while allowing for differentiable optimization. We can then incorporate LERP into probabilistic logical rule learning to learn more expressive rules. Empirical results demonstrate that with LERP, our model outperforms other rule learning methods in knowledge graph completion and is comparable or even superior to state-of-the-art black-box methods. Moreover, we find that our model can discover a more expressive family of logical rules. LERP can also be further combined with embedding learning methods like TransE to make it more interpretable.

연구 동기 및 목표

• 기존 규칙 학습 방법이 체인 구조의 허른 절취문만 모델링하고 엔티티 주변의 문맥적 서브그래프 정보를 忽略하는 한계를 해결하기 위해.
• 지식 그래프 내 엔티티의 국소 서브그래프에서 유도된 논리 패턴을 포괄하는, 다양한 표현 가능하고 해석 가능한 표현을 개발하기 위해.
• 문맥적 관계 구조를 확률적 논리 규칙 학습에 통합하여 지식 그래프 완성 성능을 향상시키기 위해.
• TransE와 같은 임베딩 모델과 LERP를 조합하여 하이브리드 학습을 가능하게 하여 더 해석 가능하고 일반화 능력이 뛰어난 표현을 확보하기 위해.

제안 방법

• LERP는 각 엔티티를 그 이웃 서브그래프에 대한 확률적 논리 함수의 벡터로 표현하며, 예를 들어 ∃z′ is_son_of(y,z′)와 같은 표현을 포함한다.
• 이 방법은 LERP 구성 요소를 사용하여 논리 규칙를 수립함으로써, 규칙와 표현 모두에 대해 다양한 최적화를 가능하게 한다.
• 정규화가 포함된 다양한 손실 함수를 사용하여 LERP와 규칙 가중치를 종합적으로 최적화하는 공동 학습 프레임워크를 설계한다.
• 하이브리드 아키텍처를 통해 LERP를 TransE와 통합한다: Embed′(e) = Embed(e) + R·L^Θ(e), 여기서 R는 LERP를 임베딩 공간으로 매핑한다.
• 규칙 가중치에 대한 ℓ2 노름과 엔트로피 정규화를 도입하여 희박성과 해석 가능성 증진을 유도한다.
• 행렬 투영(모어-펜로즈 역행렬)을 통해 학습된 논리 함수를 엔티티 관계와 임베딩 벡터에 연결함으로써 해석 가능성 기능을 지원한다.

Figure 1: Incorporating contextual information of entities can benefit missing link prediction.

실험 결과

연구 질문

• RQ1 엔티티 표현에 국소 서브그래프의 문맥을 통합함으로써 지식 그래프 내 논리 규칙 학습의 표현력을 향상시킬 수 있는가?
• RQ2 TransE와 같은 기존의 규칙 기반 기준선 및 블랙박스 임베딩 모델보다 LERP와 같은 다양한 표현 가능하고 해석 가능한 엔티티 표현이 지식 그래프 완성에서 더 우수한 성능을 낼 수 있는가?
• RQ3 TransE와 같은 신경망 임베딩 모델과 LERP를 효과적으로 통합하여 해석 가능성과 일반화 능력을 향상시킬 수 있는가?
• RQ4 LERP는 어떤 종류의 논리 규칙을 모델이 발견할 수 있게 하고, 이러한 규칙들은 실제 세계의 관계 패턴과 어떻게 관련이 있는가?

주요 결과

• 제안된 모델은 LERP를 적용함으로써 지식 그래프 완성 벤치마크에서 기존의 규칙 기반 기준선을 능가하며, 더 높은 AUC 및 MRR 점수를 기록한다.
• LERP를 통해 모델은 존재 기호를 포함한 복잡한 관계 패턴을 포함하는 더 표현력 있는 논리 규칙의 가족을 발견할 수 있다.
• 하이브리드 TransE+LERP 모델은 특히 소규모 데이터셋인 Family에서 기존의 단순 TransE보다 더 우수한 일반화 성능을 보였다. 이는 LERP의 논리적 정규화 덕분이었다.
• LERP에 엔트로피 정규화를 추가함으로써 학습된 논리 함수의 희박성과 명확성을 증진시켜 성능을 추가로 향상시켰다.
• 학습된 논리 함수를 특정 관계(예: 이모, 딸)와 연결하여 모델의 해석 가능성을 검증하였으며, 이는 의미론적 의미와 잘 일치함을 보였다.
• 실험 결과에 따르면 LERP는 TransE와 효과적으로 통합될 수 있으며, 이는 정확성과 해석 가능성을 동시에 확보한 모델을 만들어내어 최신 기술 수준의 블랙박스 방법을 뛰어넘거나 동등하게 성능을 낼 수 있었다.

Figure 2: Illustration of our construction of logical entity function and representation. (a): Each logical function is defined in a recursive manner with operations defined in Definition 1 (b): we build LERP in a feed-forward style, by constructing intermediate logical functions column by column.