[논문 리뷰] Predicting the Co-Evolution of Event and Knowledge Graphs

Cristóbal Esteban, Volker Tresp외 3명|arXiv (Cornell University)|2015. 12. 21.

Advanced Graph Neural Networks참고 문헌 24인용 수 31

한 줄 요약

이 논문은 지식 그래프(KG)와 이벤트 그래프의 공진화를 텐서 기반 표현 학습을 사용하여 공동 모델링하는 프레임워크를 제안한다. 이벤트가 KG의 변화를 이끄는 잠재 표현을 가진 KG 및 이벤트 텐서에서 예측 모델을 훈련시킴으로써, 미래의 이벤트와 해당하는 KG 상태 전이를 정확하게 예측할 수 있으며, 임상, 추천 및 센서 네트워크 응용 분야에서 10단계 예측 수준과 T=10의 최적의 이력 길이로 뛰어난 성능을 보였다.

ABSTRACT

Embedding learning, a.k.a. representation learning, has been shown to be able to model large-scale semantic knowledge graphs. A key concept is a mapping of the knowledge graph to a tensor representation whose entries are predicted by models using latent representations of generalized entities. Knowledge graphs are typically treated as static: A knowledge graph grows more links when more facts become available but the ground truth values associated with links is considered time invariant. In this paper we address the issue of knowledge graphs where triple states depend on time. We assume that changes in the knowledge graph always arrive in form of events, in the sense that the events are the gateway to the knowledge graph. We train an event prediction model which uses both knowledge graph background information and information on recent events. By predicting future events, we also predict likely changes in the knowledge graph and thus obtain a model for the evolution of the knowledge graph as well. Our experiments demonstrate that our approach performs well in a clinical application, a recommendation engine and a sensor network application.

연구 동기 및 목표

• 이벤트로 인해 삼중항 상태가 시간에 따라 변화하는 지식 그래프의 동적 진화를 모델링하기 위해.
• 이벤트를 지식 그래프의 변화 주요 원천으로 간주하여 이벤트 기반 KG 업데이트를 가능하게 하기 위해.
• 잠재 표현을 사용하여 이벤트 및 지식 그래프의 진화를 공동으로 모델링하는 통합 프레임워크를 개발하기 위해.
• 역사적 이벤트와 KG 배경 지식을 모두 활용하여 동적 도메인에서의 예측 정확도를 향상시키기 위해.
• 의료, 추천 시스템 및 센서 네트워크를 포함한 다양한 실세계 응용 분야에서 접근 방식을 검증하기 위해.

제안 방법

• 시간적 관계를 포착하기 위해 지식 그래프와 이벤트 그래프를 다중방향 텐서(KG-텐서 및 이벤트-텐서)로 표현하기 위해.
• RESCAL, TransE 또는 신경 텐서 네트워크와 같은 텐서 분해 모델을 사용하여 실체와 이벤트의 잠재 표현을 학습하기 위해.
• 과거 이벤트와 KG 실체의 잠재 표현을 입력으로 사용하여 미래 이벤트를 예측하는 별도의 예측 모델을 훈련하기 위해.
• 연속적인 도메인(예: 센서 데이터)의 회귀 과제에서는 가우시안 우도 모델을 사용하고, 노이즈를 줄이기 위해 이동 평균 스무딩을 적용하기 위해.
• 세 가지 예측 모델을 설계함: Pred1(센서별 이력), Pred2(네트워크 전역 이력), Pred3(통합 입력)이며, T=10이 최적의 이력 길이로 확인됨.
• 조기 정지와 검증을 위해 훈련 데이터의 5%를 사용하였으며, 센서 네트워크 실험에서는 4개월 간 훈련, 1개월 간 테스트를 수행함.

실험 결과

연구 질문

• RQ1 이벤트와 지식 그래프의 진화를 공동으로 모델링하면 동적 도메인에서 예측 정확도가 향상되는가?
• RQ2 KG 및 이벤트 텐서에서 유도된 잠재 표현은 향후 이벤트 예측에 어떻게 기여하는가?
• RQ3 이벤트 예측에서 시간적 의존성을 포착하기 위한 최적의 이력 길이(T)는 무엇인가?
• RQ4 국소 센서 이력과 글로벌 네트워크 이력을 모두 통합할 경우 예측 성능에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 의료, 추천 및 센서 네트워크와 같은 다양한 응용 분야에 일반화 가능한가?

주요 결과

• 제안된 모델은 향후 센서 측정치 예측에서 이전 관측치 예측, 선형 회귀, 피드포워드 신경망과 같은 여러 베이스라인을 능가하는 성능을 보였다.
• 개별 센서 이력을 사용하는 Pred1이 세 가지 모델 중에서 가장 뛰어난 성능을 보였으며, 이는 국소적 시간 패턴이 매우 예측 가능하다는 것을 시사한다.
• 전체 네트워크 이력을 사용하는 Pred2는 피드포워드 신경망 베이스라인과 비교해 다소 높은 성능을 보였지만, 이 특정 센서 네트워크 환경에서는 이점이 제한적이었다.
• 국소 및 글로벌 입력을 모두 통합한 Pred3는 Pred1을 능가하지 못했으며, 이는 통합 표현이 불필요한 복잡성이나 노이즈를 유발할 수 있음을 시사한다.
• 예측에 있어 최적의 이력 길이(T)는 모든 모델에서 10단계로 확인되었으며, 시간적 맥락과 노이즈 사이의 균형을 잘 맞추고 있었다.
• 이 프레임워크는 임상 기록, 사용자 선호도 진화 및 센서 네트워크 데이터와 같은 세 가지 상이한 도메인에서 강력한 일반화 능력을 보였으며, 그 유연성을 확인하였다.