[논문 리뷰] Probabilistic Knowledge Graph Construction: Compositional and Incremental Approaches

Dongwoo Kim, Lexing Xie외 1명|arXiv (Cornell University)|2016. 08. 21.

Advanced Graph Neural Networks참고 문헌 22인용 수 6

한 줄 요약

이 논문은 구성적이고 경로 인식 기반 모델을 통해 증분 지식 인벤토리화와 지식 보완을 통합하는 확률적 지식 그래프 인화 방법을 제안한다. 이중 선형 텐서 인화를 확률적 프레임워크로 공식화하고, 활성 학습을 위해 톰슨 샘플링을 통합함으로써 탐색과 이용의 균형을 이루며, 세 가지 벤치마크 데이터셋에서 인벤토리화의 누적 수익을 향상시키고 경로 구조를 통한 보완 작업에서 예측 성능을 향상시킨다.

ABSTRACT

Knowledge graph construction consists of two tasks: extracting information from external resources (knowledge population) and inferring missing information through a statistical analysis on the extracted information (knowledge completion). In many cases, insufficient external resources in the knowledge population hinder the subsequent statistical inference. The gap between these two processes can be reduced by an incremental population approach. We propose a new probabilistic knowledge graph factorisation method that benefits from the path structure of existing knowledge (e.g. syllogism) and enables a common modelling approach to be used for both incremental population and knowledge completion tasks. More specifically, the probabilistic formulation allows us to develop an incremental population algorithm that trades off exploitation-exploration. Experiments on three benchmark datasets show that the balanced exploitation-exploration helps the incremental population, and the additional path structure helps to predict missing information in knowledge completion.

연구 동기 및 목표

• 부분적인 지식 그래프에서 지식 인벤토리화와 보완 간 격차를 해소하기 위해.
• 증분 인벤토리화와 지식 보완 작업을 모두 지원하는 통합된 확률적 프레임워크를 개발하기 위해.
• 잠재적 구조와 불확실성 측정을 활용하여 지식 그래프 구축을 향상시키기 위해.
• 경로 구조가 지식 보완과 증분 인벤토리화에서 서로 다른 역할을 하는 이유를 조사하기 위해.

제안 방법

• 잠재 공간 내에서 개체 및 관계 임베딩을 모델링하기 위해 이중 선형 텐서 인화를 확률적 프레임워크로 공식화한다.
• 경로 구조(예: 연역적 추론)를 인화에 통합하는 구성적 확장 기법을 도입하여 보완 성능을 향상시킨다.
• 증분 인벤토리화 동안 활성 삼중항 선택에서 탐색과 이용의 균형을 이루기 위해 톰슨 샘플링을 활용한다.
• 예측의 불확실성을 모델링하기 위해 분산 매개변수를 갖는 입자 기반 추론을 사용한다.
• 활성 학습 결정을 위한 불확실성 측정을 가능하게 하는 확률적 공식화를 적용한다.
• 관측된 삼중항을 사용하여 모델을 증분적으로 훈련하고, 각 오라클 레이블링 쿼리 후 매개변수를 업데이트한다.

실험 결과

연구 질문

• RQ1 통합된 확률적 프레임워크는 증분 지식 인벤토리화와 지식 보완 양 측면에서 어떻게 향상될 수 있는가?
• RQ2 경로 구조는 지식 보완 성능에 비해 증분 인벤토리화 효율성에 어떤 영향을 미치는가?
• RQ3 톰슨 샘플링은 활성 지식 인벤토리화에서 탐색과 이용을 효과적으로 균형 잡을 수 있는가?
• RQ4 확률적 모델에서의 불확실성 측정은 지식 그래프 구축의 활성 학습을 어떻게 향상시키는가?
• RQ5 구성적 모델은 왜 보완 성능은 뛰어나지만 인벤토리화에서는 성능이 열 劣하는가?

주요 결과

• 톰슨 샘플링을 사용하고 구성적이지 않은 인화를 적용한 Pnormal-ts 모델은 세 데이터셋 전반에서 증분 인벤토리화에서 가장 높은 누적 수익을 달성했다.
• 경로 구조 덕분에 구성적 모델(PCOMP-MUL-TS)은 지식 보완에서 뛰어난 성능을 보였으며, 예측 정확도가 향상되었다.
• 구성적이지 않은 확률적 모델(Pnormal-ts)은 모든 베이스라인을 압도하며 누적 수익에서 뛰어난 성능을 보였으며, 효과적인 탐색-이용 균형을 확보했다.
• 구성적 모델는 강력한 보완 성능에도 불구하고 인벤토리화 작업에서 성능이 열 劣했으며, 이는 구조적 표현력과 불확실성 추정 간의 상충 관계를 시사한다.
• 확률적 모델링과 함께 톰슨 샘플링을 적용한 결과 ROC-AUC 점수는 유사했고, 유효한 삼중항 확보를 최대화하여 활성 학습에 효과적임을 입증했다.
• 이 연구에서 Amdc-pop과 Amdc-pred 간 성능 격차는 이전 연구와 비교할 때, 활성 학습 다이내믹스에서 초기 데이터와 쿼리 크기의 중요성을 부각시킨다.