[논문 리뷰] Programming with Personalized PageRank: A Locally Groundable First-Order Probabilistic Logic

William Yang Wang, Kathryn Mazaitis외 1명|arXiv (Cornell University)|2013. 05. 10.

Topic Modeling참고 문헌 15인용 수 25

한 줄 요약

이 논문은 개인화된 페이지랭크(PPR)를 사용하여 효율적이고 국소적으로 지식 기반된 추론을 가능하게 하는 일阶 확률적 논리 언어인 ProPPR를 소개한다. 재시작 메커니즘을 통해 짧은 유도 경로에 대한 편향을 주어 증명을 유도함으로써 ProPPR는 데이터베이스 크기와 무관하게 추론과 학습이 스케일링되며, 병렬화를 통해 순서수준의 속도 향상을 달성하고, 가중치 학습 없이도 엔티티 해상도 작업에서 마르코프 논리 네트워크를 능가한다.

ABSTRACT

In many probabilistic first-order representation systems, inference is performed by "grounding"---i.e., mapping it to a propositional representation, and then performing propositional inference. With a large database of facts, groundings can be very large, making inference and learning computationally expensive. Here we present a first-order probabilistic language which is well-suited to approximate "local" grounding: every query $Q$ can be approximately grounded with a small graph. The language is an extension of stochastic logic programs where inference is performed by a variant of personalized PageRank. Experimentally, we show that the approach performs well without weight learning on an entity resolution task; that supervised weight-learning improves accuracy; and that grounding time is independent of DB size. We also show that order-of-magnitude speedups are possible by parallelizing learning.

연구 동기 및 목표

• 대규모 확률적 일계 논리 프로그램의 지식 기반 과정의 계산 비효율성 문제를 해결하기 위해 근사적이고 국소적인 지식 기반을 가능하게 하는 것.
• 개인화된 페이지랭크의 계산적 특성을 활용하여 효율적인 추론과 학습을 지원하는 논리 언어를 설계하는 것.
• 국소적 지식 기반을 통해 약하게 결합된 소규모 하위 작업들로 분해함으로써 확장 가능한 가중치 학습을 가능하게 하는 것.
• 데이터베이스 크기와 무관하게 추론과 학습이 수행될 수 있음을 입증하는 것.
• 학습 과정을 병렬화함으로써 높은 정확도를 유지하면서도 상당한 속도 향상을 달성하는 것.

제안 방법

• 스토케스틱 논리 프로그램(SLPs)에 짧은 유도 경로에 대한 편향을 주는 재시작 메커니즘을 도입하여, 이 과정을 개인화된 페이지랭크(PPR)와 연결한다.
• 논리적 추론을 증명 공간 위의 그래프 탐색으로 표현하며, 각 노드는 질의-하위목표 쌍이고, 간선은 통일된 규칙 적용을 나타낸다.
• PPR 기반 알고리즘을 사용하여 근사 확률을 계산하며, 수렴 시간은 α(재시작 확률)와 ε(오차 허용 범위)에 대해 O(1/(αε))로 제한된다.
• 질의 주변에 관련성이 높은 소규모 하위그래프를 구성하기 위해 국소적 분할 방법을 사용하여, 전체 데이터베이스 크기와 무관한 효율적 국소 지식 기반을 가능하게 한다.
• 국소적으로 지식 기반된 하위그래프 위에서 기울기 기반 가중치 학습을 적용하여, 학습 예제 간 병렬화를 가능하게 한다.
• PPR 과정을 정리 증명 프레임워크에 통합하여 근사 추론의 정확성과 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 개인화된 페이지랭크를 사용하여 증명 가능하게 효율적인 추론과 학습을 갖춘 일계 확률적 논리 시스템을 설계할 수 있는가?
• RQ2 데이터베이스 크기와 무관하게 추론과 학습 시간이 유지되는 국소적 지식 기반을 달성할 수 있는가?
• RQ3 증명 과정에 재시작을 통합함으로써 이론적 보장이 있는 안정적이고 효율적인 추론을 달성할 수 있는가?
• RQ4 학습 과정을 국소적으로 지식 기반된 하위작업들로 분해함으로써 효과적으로 병렬화할 수 있는가?
• RQ5 정확도와 확장성 측면에서 이 시스템은 마르코프 논리 네트워크와 비교해 어떻게 성능을 내는가?

주요 결과

• ProPPR는 데이터베이스 크기와 무관하게 추론 및 학습 시간이 유지되며, 이는 O(1/(αε))로 스케일링되며, O(|DB|)가 아닌 방식이다.
• 국소적으로 지식 기반된 하위작업의 병렬화를 통해 학습 시간에 순서수준의 속도 향상을 달성한다.
• 가중치 학습 없이도 ProPPR는 재현된 마르코프 논리 네트워크 기반의 베이스라인보다 엔티티 해상도 작업에서 더 뛰어난 성능을 보인다.
• 감독 기반 가중치 학습은 정확도를 더욱 향상시키며, 특히 회의 장소 예측 작업에서 이전에 보고된 결과를 초월한다.
• 국소적 지식 기반 절차는 각 질의 주변의 소규모이고 관련성이 높은 하위그래프로 계산을 제한함으로써 효율적이고 확장 가능한 추론을 가능하게 한다.
• 이 방법은 이론적으로 타당하며, PPR 수렴 보장에 기반한 증명 가능하게 정확한 근사 추론과 지식 기반을 제공한다.