[論文レビュー] DyERNIE: Dynamic Evolution of Riemannian Manifold Embeddings for Temporal Knowledge Graph Completion

Zhen Han, Yunpu Ma+2 more|arXiv (Cornell University)|Nov 8, 2020

Advanced Graph Neural Networks参考文献 41被引用数 4

ひとこと要約

DyERNIE は、曲率が異なるリーマン多様体の積上に変化するエンティティ表現をモデル化することで、時系列知識グラフ補完のための非ユークリッド的手法を提案する。時間的ダイナミクスを接空間上の速度ベクトルで捉え、時系列 KG に内在する階層的および巡回的構造をよりよくモデル化することで、3つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

There has recently been increasing interest in learning representations of temporal knowledge graphs (KGs), which record the dynamic relationships between entities over time. Temporal KGs often exhibit multiple simultaneous non-Euclidean structures, such as hierarchical and cyclic structures. However, existing embedding approaches for temporal KGs typically learn entity representations and their dynamic evolution in the Euclidean space, which might not capture such intrinsic structures very well. To this end, we propose Dy- ERNIE, a non-Euclidean embedding approach that learns evolving entity representations in a product of Riemannian manifolds, where the composed spaces are estimated from the sectional curvatures of underlying data. Product manifolds enable our approach to better reflect a wide variety of geometric structures on temporal KGs. Besides, to capture the evolutionary dynamics of temporal KGs, we let the entity representations evolve according to a velocity vector defined in the tangent space at each timestamp. We analyze in detail the contribution of geometric spaces to representation learning of temporal KGs and evaluate our model on temporal knowledge graph completion tasks. Extensive experiments on three real-world datasets demonstrate significantly improved performance, indicating that the dynamics of multi-relational graph data can be more properly modeled by the evolution of embeddings on Riemannian manifolds.

研究の動機と目的

• 時系列知識グラフにおける階層やサイクルといった内在的な幾何構造を捉えるのにユークリッド空間の限界を是正すること。
• 静的または線形表現を越えて、幾何的に整合性のある方法で時間経過に伴うエンティティの動的進化をモデル化すること。
• リーマン多様体のダイナミクスを通じて、静的構造的依存関係と時間的に変化する行動の両方を学習する手法を開発すること。
• 実世界の時系列 KG に存在する複雑な幾何的パターンを、曲率が異なる多様体の積がよりよく反映することを示すこと。

提案手法

• エンティティ表現は、元の時系列 KG データの法曲率から推定された、異なる曲率を持つリーマン多様体の積上に初期化される。
• 時間的進化は、各エンティティの初期埋め込みにおける接空間に定義された速度ベクトルによってモデル化され、多様体上での滑らかな測地線的運動が可能になる。
• 時間依存の埋め込みは、時間でスケーリングされた速度ベクトルを初期埋め込みに指数写像を用いて適用することで生成される。
• モデルは関係固有のパラメータに基づいて主語および目的語の埋め込みを調整する関係に依存する距離関数を用いる。
• 成分多様体の曲率と次元は、法曲率とデータ幾何の実証的分析に基づいて選択される。
• アブレーションスタディにより、動的成分の重要性と、複雑な周期関数よりも線形進化の優位性が確認された。

実験結果

リサーチクエスチョン

• RQ1 曲率が異なる多様体の積上で、時系列知識グラフのダイナミクスをリーマン多様体でモデル化することで、ユークリッドベースラインに比べてリンク予測性能が向上するか？
• RQ2 接空間上の速度ベクトルは、多関係的時系列グラフにおけるエンティティの時間的変化行動をどのように効果的に捉えているか？
• RQ3 曲率が変化する多様体の積は、実世界の時系列 KG に存在する階層やサイクルといった内在的な幾何的構造をどの程度正確に反映しているか？
• RQ4 リーマン多様体上での埋め込みの動的進化は、静的または完全に周期的な表現関数に比べて、時系列 KG のモデル化において優れているか？

主な発見

• DyERNIE は、線形進化を用いて ICEWS14 でフィルタリング MRR 55.87 を達成し、非線形周期的および組み合わせモデルを著しく上回った。
• アブレーションスタディでは、動的成分を削除すると Hits@1 が約半減し、時間的進化の重要性が裏付けられた。
• グラフ内で次数が高いエンティティは、常にポアンカレ球の原点付近に位置しており、階層的構造の捉え込みが示された。
• 速度ベクトルのノルムはノード次数と負の相関を示しており、中心的かつ次数の高いエンティティでは安定的で低速なダイナミクスであることを示唆している。
• 距離関数を単純化すると、特に翻訳ベクトルを削除した場合にモデルの性能が著しく低下した。
• 積多様体構造により、複雑な幾何的パターンのモデル化が向上し、3つのベンチマークデータセットすべてで性能向上が確認された。