[논문 리뷰] Symbolic Querying of Vector Spaces: Probabilistic Databases Meets Relational Embeddings

Tal Friedman, Guy Van den Broeck|arXiv (Cornell University)|2020. 02. 24.

Bayesian Modeling and Causal Inference참고 문헌 39인용 수 4

한 줄 요약

이 논문은 불완전하고 불확실한 데이터에 대해 효율적이고 원칙적인 확률 쿼리가 가능한 관계형 임bedding 모델인 TractOR를 소개한다. 엔티티와 관계를 벡터로 임베딩하고 PDB 의미론과 호환되는 인수분해 구조를 강제함으로써, 복잡한 쿼리에 대해 추론이 가능하면서도 강력한 확률적 기반을 유지한다. 기존 기준보다 쿼리 예측 성능이 뛰어나며, 비음수 파라미터 제약 조건 하에서도 강인함을 보였다.

ABSTRACT

We propose unifying techniques from probabilistic databases and relational embedding models with the goal of performing complex queries on incomplete and uncertain data. We formalize a probabilistic database model with respect to which all queries are done. This allows us to leverage the rich literature of theory and algorithms from probabilistic databases for solving problems. While this formalization can be used with any relational embedding model, the lack of a well-defined joint probability distribution causes simple query problems to become provably hard. With this in mind, we introduce \TO, a relational embedding model designed to be a tractable probabilistic database, by exploiting typical embedding assumptions within the probabilistic framework. Using a principled, efficient inference algorithm that can be derived from its definition, we empirically demonstrate that \TOs is an effective and general model for these querying tasks.

연구 동기 및 목표

• 기존 관계형 임베딩 모델의 한계를 해결하기 위해, 일관된 확률적 의미론이 없고 링크 예측을 초과하는 복잡한 쿼리 처리에 어려움을 겪는 문제를 다룬다.
• 불완전한 데이터에서 의미 있는 확률을 구성하는 데 취약하고 복잡한 쿼리를 효율적으로 처리하지 못하는 확률적 데이터베이스의 취약성을 해결한다.
• 관계형 임베딩의 예측 능력과 PDB의 공식적 확률적 의미론을 융합하여, 불확실하고 불완전한 관계형 데이터에 대해 타당하고 추론이 가능한 추론을 가능하게 한다.
• 링크 예측을 넘어서 복잡한 쿼리 평가를 지원하는 모델을 설계하며, 보장된 추론 가능성과 원칙적인 추론을 확보한다.

제안 방법

• 관계형 임베딩의 기초 의미론으로서 확률적 데이터베이스(PDB) 프레임워크를 정식화하여, 잘 정의된 독립성 가정과 확률적 일관성을 보장한다.
• 엔티티와 관계를 벡터로 임베딩하고 PDB의 인수분해 구조를 존중하는 스코어링 함수를 사용하는 모델인 TractOR를 도입한다.
• 임베딩 모델에서 일반적인 인수분해 가정(예: DistMult)을 활용하여 연합 확률 분포가 추론 가능하고 효율적으로 계산 가능하도록 보장한다.
• 모델 정의에서 효율적인 추론 알고리즘을 유도하여 전체 확률 공간에서 쿼리 확률을 신속하고 정확하게 계산할 수 있도록 한다.
• 표준 임베딩 기법(음성 샘플링, 최대 마진 손실)을 사용해 TractOR를 훈련하면서도, 후속 추론을 위한 PDB 의미론과의 호환성을 유지한다.
• 복잡한 쿼리 예측 작업에서 TractOR를 평가하고, DistMult 및 TransE와 같은 기준 모델과 AUC 및 기타 지표를 사용해 비교한다.

실험 결과

연구 질문

• RQ1 링크 예측 외에도 추론이 가능한 복잡한 확률 쿼리를 지원할 수 있는 관계형 임베딩 모델을 설계할 수 있는가?
• RQ2 확률적 데이터베이스의 확률적 의미론을 관계형 임베딩의 예측 능력과 효과적으로 융합할 수 있는가?
• RQ3 임베딩 모델에서 어떤 구조적 가정을 활용하면 불확실한 데이터에 대한 확률적 추론의 추론 가능성을 보장할 수 있는가?
• RQ4 표준 임베딩 모델과 비교했을 때, PDB 호환 인수분해를 강제함으로써 쿼리 응답의 효율성과 신뢰성은 어느 정도 향상되는가?

주요 결과

• TractOR는 복잡한 쿼리 설정에서 DistMult 및 TransE와 같은 기준 모델보다 경쟁력 있는 성능을 기록하며, 쿼리 예측 과제에서 뛰어난 성능을 보였다.
• 비음수 파라미터 제약 조건 하에서도 성능이 유지되지만, TractOR+와 비교해 다소 떨어지며, 이는 음수 임베딩이 표현력과 훈련 안정성을 향상시킨다는 것을 시사한다.
• 실험 결과에 따르면 TractOR는 링크 예측 외에도 복잡한 쿼리에 효과적이며, 전체 확률 분포를 표현할 수 있어 효율적이고 정확한 추론이 가능하다.
• TractOR와 TractOR+ 간의 성능 격차는 모델 표현력의 중요성을 드러내며, 음수 값을 允허함으로써 링크 예측 성능이 향상되고, 이는 궁극적으로 쿼리 예측 성능 향상으로 이어진다.
• TractOR의 설계는 인수분해 구조 덕분에 효율적인 추론을 가능하게 하여, 표준 PDB에서 증명적으로 어려운 복잡한 확률적 추론을 수행할 수 있게 한다.