[논문 리뷰] DyERNIE: Dynamic Evolution of Riemannian Manifold Embeddings for Temporal Knowledge Graph Completion

Zhen Han, Yunpu Ma외 2명|arXiv (Cornell University)|2020. 11. 08.

Advanced Graph Neural Networks참고 문헌 41인용 수 4

한 줄 요약

DyERNIE는 다양한 곡률을 가진 리만 다양체의 곱공간 위에서 변화하는 엔티티 표현을 모델링함으로써 시간 지속 지식 그래프 보완을 위한 비유클리드적 접근을 제안한다. 시간 동적성을 포착하기 위해 탄젠트 공간 내의 속도 벡터를 사용하며, 계층적이고 순환적인 구조가 내재된 시간 지속 지식 그래프를 더 잘 모델링함으로써 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

There has recently been increasing interest in learning representations of temporal knowledge graphs (KGs), which record the dynamic relationships between entities over time. Temporal KGs often exhibit multiple simultaneous non-Euclidean structures, such as hierarchical and cyclic structures. However, existing embedding approaches for temporal KGs typically learn entity representations and their dynamic evolution in the Euclidean space, which might not capture such intrinsic structures very well. To this end, we propose Dy- ERNIE, a non-Euclidean embedding approach that learns evolving entity representations in a product of Riemannian manifolds, where the composed spaces are estimated from the sectional curvatures of underlying data. Product manifolds enable our approach to better reflect a wide variety of geometric structures on temporal KGs. Besides, to capture the evolutionary dynamics of temporal KGs, we let the entity representations evolve according to a velocity vector defined in the tangent space at each timestamp. We analyze in detail the contribution of geometric spaces to representation learning of temporal KGs and evaluate our model on temporal knowledge graph completion tasks. Extensive experiments on three real-world datasets demonstrate significantly improved performance, indicating that the dynamics of multi-relational graph data can be more properly modeled by the evolution of embeddings on Riemannian manifolds.

연구 동기 및 목표

• 시간 지속 지식 그래프 내부 기하학적 구조(예: 계층 구조 및 순환)를 포착하는 데 있어 유클리드 공간의 한계를 해결하기 위해.
• 정적 또는 선형 표현을 초월하여 시간에 따라 변화하는 엔티티의 동적 진동을 기하학적으로 타당한 방식으로 모델링하기 위해.
• 리만 다양체의 동역학을 통해 정적 구조적 종속성과 시간에 따라 변화하는 행동을 동시에 학습하는 방법을 개발하기 위해.
• 실제 시간 지속 지식 그래프 내 복잡한 기하 패턴을 반영하는 데에 이질적인 곡률을 가진 곱다양체가 더 효과적임을 입증하기 위해.

제안 방법

• 엔티티 표현은 시간 지속 지식 그래프 데이터의 국소 곡률을 기반으로 추정된 다양한 곡률을 가진 리만 다양체의 곱공간 위에 초기화된다.
• 시간에 따른 진동은 각 엔티티의 초기 표현에서 정의된 탄젠트 공간 내의 속도 벡터를 통해 모델링되며, 다양체 위에서 부드러운 지측선 운동을 가능하게 한다.
• 시간에 따라 변하는 임베딩은 리만 지수 사상(Exponential map)을 사용하여 초기 표현에 속도 벡터를 시간에 비례해 스케일링한 것을 지수화함으로써 생성된다.
• 관계별 매개변수에 기반해 주어진 주어진 및 목적어 표현을 조정하는 관계 인식 거리 함수를 사용한다.
• 구성 요소 다양체의 곡률과 차원은 국소 곡률과 데이터 기하학적 특성의 경험적 분석에 기반하여 선택된다.
• 제거 실험은 동적 구성 요소의 중요성과 복잡한 주기적 함수보다 선형 진동의 우수성을 입증한다.

실험 결과

연구 질문

• RQ1 이질적인 곡률을 가진 리만 다양체 위에서 시간 지속 지식 그래프의 동적 특성을 모델링할 경우, 유클리드 기반 모델 대비 링크 예측 성능 향상이 이루어지는가?
• RQ2 탄젠트 공간 내의 속도 벡터는 다중관계 시간 그래프 내 엔티티의 시간에 따라 변화하는 행동을 얼마나 효과적으로 포착하는가?
• RQ3 곡률이 다른 곱다양체는 실제 세계의 시간 지속 지식 그래프 내에 존재하는 계층 구조 및 순환 구조와 같은 내재된 기하학적 구조를 어느 정도 반영하는가?
• RQ4 리만 다양체 위에서의 임베딩 동적 진동은 정적 또는 순수 주기적 표현 함수보다 시간 지속 지식 그래프 모델링에서 더 우수한 성능을 내는가?

주요 결과

• DyERNIE는 선형 진동을 사용하여 ICEWS14에서 필터링 MRR 55.87을 달성하며, 비선형 주기적 및 복합 모델보다 유의하게 뛰어난 성능을 보였다.
• 제거 실험 결과, 동적 구성 요소를 제거하면 Hits@1이 약 절반으로 감소하여 시간 진동의 핵심적 역할을 입증했다.
• 그래프 내에서 차수(도수)가 높은 엔티티들은 항상 파페레의 구의 원점 근처에 위치하여 계층적 구조 포착을 시사한다.
• 속도 벡터의 노름은 노드의 차수와 음의 상관관계를 보이며, 중심에 위치한 고차수 엔티티들이 안정적이고 낮은 이동 동역학을 가짐을 시사한다.
• 거리 함수를 단순화할 경우 성능이 크게 떨어지며, 특히 이동 벡터를 제거할 경우 더욱 심각한 성능 저하가 발생한다.
• 곱다양체 구조는 복잡한 기하 패턴을 더 잘 모델링할 수 있도록 하며, 이는 세 가지 벤치마크 데이터셋 전반에서 성능 향상을 통해 입증되었다.