[논문 리뷰] Traversing Knowledge Graphs in Vector Space

Kelvin Guu, J. J. Miller외 1명|arXiv (Cornell University)|2015. 06. 03.

Topic Modeling참고 문헌 24인용 수 98

한 줄 요약

이 논문은 지식 기반 완성에 대한 벡터 공간 모델을 향상시키는 복합적 훈련 방식을 제안하며, 누락된 사실이 존재하는 상황에서도 정확한 경로 질의 응답을 가능하게 한다. 학습된 임베딩을 반복적으로 적용하고 새로운 복합적 목적 함수를 도입함으로써, 누적 오류를 감소시키고 경로 질의(최대 2배의 정확도 향상)와 표준 지식 기반 완성(최대 43% 오류 감소) 모두에서 성능을 향상시킨다.

ABSTRACT

Path queries on a knowledge graph can be used to answer compositional questions such as "What languages are spoken by people living in Lisbon?". However, knowledge graphs often have missing facts (edges) which disrupts path queries. Recent models for knowledge base completion impute missing facts by embedding knowledge graphs in vector spaces. We show that these models can be recursively applied to answer path queries, but that they suffer from cascading errors. This motivates a new "compositional" training objective, which dramatically improves all models' ability to answer path queries, in some cases more than doubling accuracy. On a standard knowledge base completion task, we also demonstrate that compositional training acts as a novel form of structural regularization, reliably improving performance across all base models (reducing errors by up to 43%) and achieving new state-of-the-art results.

연구 동기 및 목표

• 누락된 사실로 인해 탐색이 방해되는 불완전한 지식 그래프에서 복합적 경로 질의를 해결하는 데 도전한다.
• 긴 경로에 대해 다수의 관계 임베딩을 조합할 때 발생하는 기존 벡터 공간 모델의 누적 오류를 극복한다.
• 경로 질의 성능과 표준 지식 기반 완성 모두를 향상시키는 일반화 가능한 훈련 목적 함수를 개발한다.
• 복합적 훈련이 다양한 모델에 걸쳐 일반화 능력을 향상시키는 구조적 정규화의 한 형태로 작용함을 입증한다.

제안 방법

• 기본 지식 기반 완성 모델(예: 이항형, TransE)을 벡터 공간 내의 소프트 엣지 탐색 연산자로 해석한다.
• 이 연산자를 반복적으로 조합하여 다단계 경로를 예측하기 위해 관계 임베딩을 통해 벡터 변환(예: 행렬 곱셈)을 적용한다.
• 조합된 경로에 대한 예측 오차를 최소화함으로써 경로 질의 정확도를 명시적으로 최적화하는 복합적 훈련 목적 함수를 도입한다.
• 엔티티 집합을 저차원 벡터로 모델링하는 기울기 기반 최적화가 가능한 가역적 경로 표기 표현을 사용한다.
• 예측된 경로 표기와 실제 집합 간의 정렬을 유도함으로써 엔티티 벡터의 공간 배치를 정규화한다.
• 기존 삼중항에서 파생된 합성 경로 질의를 사용하여 표준 KBC 데이터셋에 복합적 감독을 추가로 제공한다.

실험 결과

연구 질문

• RQ1 지식 기반 완성용 벡터 공간 모델이 다단계 경로 질의에 효과적으로 복합화될 수 있는가?
• RQ2 표준 KBC 훈련 대비 전용 복합적 훈련 목적 함수가 경로 질의 예측에서 누적 오류를 줄이는가?
• RQ3 복합적 훈련이 표준 지식 기반 완성 작업에서 성능을 얼마나 향상시키는가?
• RQ4 복합적 훈련이 다양한 기본 모델에 걸쳐 일반화 능력을 향상시키는 구조적 정규화의 한 형태로 볼 수 있는가?
• RQ5 경로 길이와 중간 관계의 정밀도에 따라 모델 성능은 어떻게 변하는가?

주요 결과

• 복합적 훈련은 일부 경우에서 성능을 두 배 이상 향상시켜 경로 길이가 5인 경우 특히 효과적이다.
• 모든 테스트된 기본 모델에서 표준 지식 기반 완성 오류율을 최대 43% 감소시켜 새로운 최고 성능 기록을 달성한다.
• 복합적 목적 함수는 벡터 공간 기하학을 효과적으로 정규화하며, 정밀도가 높은 경로일수록 타겟 관계와의 임베딩 거리 감소가 두드러진다.
• 복합적 목적 함수로 훈련된 모델은 아브라함 링컨의 존재하지 않는 딸과 같은 새로운 또는 가상의 엔티티로도 더 잘 일반화된다.
• 복합적 훈련 목적 함수는 벡터 공간 조합을 통해 예측된 집합을 실제 집합과 정렬함으로써 더 정확한 경로 표기 결과를 도출한다.
• 이 방법은 이항형 모델과 TransE와 같은 조합 가능한 모델에 널리 적용 가능하며, 아키텍처 간 일관된 성능 향상을 보였다.