[논문 리뷰] Probabilistic Entity Representation Model for Reasoning over Knowledge Graphs

Nurendra Choudhary, Nikhil Rao외 3명|VTechWorks (Virginia Tech)|2021. 10. 26.

Advanced Graph Neural Networks참고 문헌 18인용 수 6

한 줄 요약

이 논문은 지식 그래프 내 엔티티를 다변량 정규분포로 표현함으로써 논리 쿼리에 대한 부드럽고 미분 가능한 추론을 가능하게 하는 새로운 방법인 확률적 엔티티 표현 모델(PerM)을 제안한다. 평균(μ)과 공분산(Σ) 매개변수로 구성된 엔티티 모델링을 통해 유니온, 인터섹션, 프로젝션과 같은 닫힘 형식 연산을 지원하여 엔드 투 엔드 체인 추론이 가능하며, 논리적 추론 및 약물 재편성 벤치마크에서 기존 최고 성능(SOTA) 방법보다 최대 13.6% 향상된 F1 스코어를 기록한다.

ABSTRACT

Logical reasoning over Knowledge Graphs (KGs) is a fundamental technique that can provide efficient querying mechanism over large and incomplete databases. Current approaches employ spatial geometries such as boxes to learn query representations that encompass the answer entities and model the logical operations of projection and intersection. However, their geometry is restrictive and leads to non-smooth strict boundaries, which further results in ambiguous answer entities. Furthermore, previous works propose transformation tricks to handle unions which results in non-closure and, thus, cannot be chained in a stream. In this paper, we propose a Probabilistic Entity Representation Model (PERM) to encode entities as a Multivariate Gaussian density with mean and covariance parameters to capture its semantic position and smooth decision boundary, respectively. Additionally, we also define the closed logical operations of projection, intersection, and union that can be aggregated using an end-to-end objective function. On the logical query reasoning problem, we demonstrate that the proposed PERM significantly outperforms the state-of-the-art methods on various public benchmark KG datasets on standard evaluation metrics. We also evaluate PERM's competence on a COVID-19 drug-repurposing case study and show that our proposed work is able to recommend drugs with substantially better F1 than current methods. Finally, we demonstrate the working of our PERM's query answering process through a low-dimensional visualization of the Gaussian representations.

연구 동기 및 목표

• 공간적 임베딩 기법인 박스 모델의 한계를 해결하기 위해, 특히 경계가 부드럽지 않거나 유니온 연산이 닫힘 형식이 아닌 문제를 해결하기 위해.
• 논리적 쿼리에 대한 엔드 투 엔드 체인 추론을 가능하게 하되, 배타적 정규형(DNF) 변환에 의존하지 않기 위해.
• 엔티티의 불확실성과 공간적 범위를 확률적 분포로 모델링하여, 불완전하고 대규모 지식 그래프에서도 추론 성능을 향상시키기 위해.
• 실제 응용 분야에서의 실용성을 입증하기 위해, 정확하고 해석 가능한 추천이 필수적인 코로나19 치료제 재편성과 같은 실제 생물의학적 응용에서의 성능을 보여주기 위해.

제안 방법

• 엔티티는 평균(μ)과 공분산(Σ)으로 파arameterized된 다변량 정규분포로 표현되어 의미적 위치와 공간적 범위를 모두 반영한다.
• 프로젝션, 인터섹션, 유니온과 같은 논리 연산은 가우시안 대수를 사용해 닫힘 형식으로 정의되며, 이는 미분 가능하고 조합 가능한 쿼리 처리를 가능하게 한다.
• 엔티티가 쿼리에 관련된 정도를 평가하기 위해 마할라노비스 거리(Mahalanobis distance)를 사용하며, 이는 부드럽고 확률론적으로 기반을 둔 거리 측도이다.
• 엔드 투 엔드 목적 함수는 복잡한 쿼리 체인을 집계하여 쿼리 표현과 엔티티 임베딩의 동시 최적화를 가능하게 한다.
• 모든 FOE 연산에 대해 닫힘 성질을 유지함으로써 스트리밍 쿼리 처리를 지원하며, 쿼리 재작성의 필요성을 제거한다.
• 합성 쿼리(예: 유니온)를 표현하기 위해 가우시안 혼합 모델을 사용하며, 이는 다수의 엔티티를 포괄하는 확률 밀도 함수를 일반화한다.

실험 결과

연구 질문

• RQ1 다변량 정규분포를 활용한 확률적 엔티티 표현이 지식 그래프 추론에서 논리 연산에 대해 닫힘 형식의 해를 제공할 수 있는가?
• RQ2 PERM의 부드럽고 미분 가능한 결정 경계는 상자와 같은 경직된 기하학적 임베딩 기법보다 추론 성능을 어떻게 향상시키는가?
• RQ3 PERM는 DNF 변환 없이도 유니온, 인터섹션, 프로젝션을 포함한 복잡한 쿼리 체인을 효과적으로 연결할 수 있는가?
• RQ4 PERM는 벤치마크 지식 그래프에서 논리적 추론 작업에서 SOTA 방법을 초월하는가?
• RQ5 PERM는 실제 생물의학 응용 분야인 코로나19 치료제 재편성에서 더 정확하고 임상적으로 관련성이 높은 약물 추천을 제공할 수 있는가?

주요 결과

• PERM는 코로나19 치료제 재편성 작업에서 SOTA 방법인 Q2B보다 상대적으로 F1 스코어가 13.6% 향상되어 F1 스코어 0.251을 기록했다.
• 동일한 벤치마크에서 Q2B 대비 정밀도는 11.9% 향상되고 재현율은 5.5% 향상되었으며, CQD 대비 각각 3.8%와 3.5% 향상되었다.
• 현재 SOTA 방법들인 BQE, Q2B, CQD는 연산의 닫힘 성질이 없어 유니온 이후 인터섹션 연산을 단일 파이프라인에서 수행할 수 없지만, PERM는 이를 가능하게 했다.
• 잠재 공간의 시각화 결과, PERM의 가우시안 표현은 더 넓은 쿼리 의미를 반영하며, '유럽'과 같은 일반적인 엔티티는 높은 분산을, '유럽 투링상 수상자'와 같은 특정 엔티티는 낮은 분산을 보였다.
• PERM의 쿼리 처리 파이프라인은 저차원 시각화를 통해 해석 가능성을 입증하였으며, 쿼리 공간이 연속적인 연산을 거쳐 어떻게 변화하는지를 보여주었다.
• 모델의 닫힘 형식 연산 덕분에 스트리밍 쿼리 처리가 가능했으며, 모든 출력이 가우시안 공간 내에 유지되어 엔드 투 엔드 집계가 가능했다.