[논문 리뷰] A Review of Relational Machine Learning for Knowledge Graphs From Multi-Relational Link Prediction to Automated Knowledge Graph Construction

Maximilian Nickel, Kevin Murphy외 2명|arXiv (Cornell University)|2015. 03. 02.

Complex Network Analysis Techniques참고 문헌 113인용 수 80

한 줄 요약

이 논문은 지식 그래프를 위한 관계 기반 기계 학습 방법을 검토하며, 링크 예측과 자동 지식 그래프 구축을 위한 확장 가능한 통계 모델—텐서 분해와 패턴 마이닝—에 중점을 둡니다. 잠재적 모델과 관측 가능한 모델을 결합함으로써 성능을 향상시키고 계산 비용을 절감할 수 있음을 보여주며, 구글의 지식 버터플라이크와 같은 시스템에서 텍스트 기반 추출과 통합합니다.

ABSTRACT

Relational machine learning studies methods for the statistical analysis of relational, or graph-structured, data. In this paper, we provide a review of how such statistical models can be trained on large knowledge graphs, and then used to predict new facts about the world (which is equivalent to predicting new edges in the graph). In particular, we discuss two different kinds of statistical relational models, both of which can scale to massive datasets. The first is based on tensor factorization methods and related latent variable models. The second is based on mining observable patterns in the graph. We also show how to combine these latent and observable models to get improved modeling power at decreased computational cost. Finally, we discuss how such statistical models of graphs can be combined with text-based information extraction methods for automatically constructing knowledge graphs from the Web. In particular, we discuss Google's Knowledge Vault project.

연구 동기 및 목표

• 대규모 지식 그래프에서 학습하는 확장 가능한 통계적 관계 모델을 조사하기 위해.
• 통계적 방법을 사용하여 지식 그래프의 새로운 사실(누락된 간선)을 예측하는 과제를 해결하기 위해.
• 잠재적(텐서 분해)과 관측 가능(패턴 마이닝) 모델을 조합하여 효율성과 정확도를 향상시키기 위해.
• 관계 모델을 텍스트 기반 정보 추출과 통합하여 자동 지식 그래프 구축을 가능하게 하기 위해.
• 이러한 방법의 실세계 적용 사례, 예를 들어 구글의 지식 버터플라이크에서의 적용을 보여주기 위해.

제안 방법

• 다중관계 데이터를 3차원 텐서로 모델링하고 낮은 랭크 표현으로 분해함으로써 다중관계 데이터를 처리하기 위해 텐서 분해를 활용합니다.
• 지식 그래프에서 빈번한 관측 가능한 부분그래프 패턴을 추출하여 관계 추론에 사용하기 위해 패턴 마이닝을 활용합니다.
• 패턴을 사용하여 텐서 분해 과정을 안내하거나 정규화함으로써 잠재적 모델과 관측 가능 모델을 통합합니다.
• 통계적 관계 모델을 텍스트 마이닝 파이프라인과 통합하여 비정형 웹 텍스트에서 새로운 사실을 추출합니다.
• 엔드 투 엔드 지식 그래프 구축을 보여주기 위해 지식 버터플라이크 프레임워크를 사례 연구로 활용합니다.
• 예측 정확도를 유지하면서도 대규모 데이터셋에 모델을 확장하기 위해 정규화 및 최적화 기법을 적용합니다.

실험 결과

연구 질문

• RQ1 통계적 관계 모델은 어떻게 대규모 지식 그래프에서 학습할 수 있도록 확장될 수 있는가?
• RQ2 잠재적(텐서 분해) 모델과 관측 가능(패턴 마이닝) 모델의 상대적 및 통합적 효과는 링크 예측에서 어떻게 평가될 수 있는가?
• RQ3 잠재적 모델와 관측 가능 모델을 조합하면 성능을 희생시키지 않고도 계산 비용을 줄일 수 있는가?
• RQ4 관계 모델은 어떻게 텍스트 기반 정보 추출과 통합되어 자동 지식 그래프 구축을 가능하게 할 수 있는가?
• RQ5 이러한 방법은 실세계 지식 그래프 프로젝트, 예를 들어 구글의 지식 버터플라이크에서 실용적으로 어떤 영향을 미치는가?

주요 결과

• 텐서 분해 방법은 개체와 관계에 대한 저차원 임bedding을 학습함으로써 효과적인 링크 예측을 가능하게 합니다.
• 패턴 마이닝은 해석 가능하고 관측 가능한 관계 규칙을 제공하여 모델의 일반화 능력을 향상시키고 과적합을 줄입니다.
• 잠재적 모델와 관측 가능 모델을 조합하면 예측 성능가 개선되고 계산 요구 사항도 감소합니다.
• 통계적 관계 모델과 텍스트 마이닝의 통합은 비정형 웹 데이터에서 확장 가능하고 자동으로 지식 그래프를 구축할 수 있게 합니다.
• 지식 버터플라이크와 같은 시스템은 이러한 방법을 대규모 실세계 지식 그래프 인스턴스에 적용할 수 있음을 보여줍니다.
• 하이브리드 접근 방식은 단독으로 사용할 경우보다 정확도, 효율성, 해석 가능성 간의 더 우수한 트레이드오프를 달성합니다.