[論文レビュー] CompoundE: Knowledge Graph Embedding with Translation, Rotation and Scaling Compound Operations

Xiou Ge, Yun-Cheng Wang+2 more|arXiv (Cornell University)|Jul 12, 2022

Brain Tumor Detection and Classification被引用数 6

ひとこと要約

CompoundE は、翻訳、回転、スケーリング操作を統合した複合幾何変換を用いる、知識グラフ埋め込みの新規モデルであり、リンク予測の性能を向上させる。アフィン群の構造を活用することで、先行モデルよりも顕著に少ないパラメータ数で、FB15k-237、WN18RR、ogbl-wikikg2 で最先端の性能を達成している。

ABSTRACT

Translation, rotation, and scaling are three commonly used geometric manipulation operations in image processing. Besides, some of them are successfully used in developing effective knowledge graph embedding (KGE) models such as TransE and RotatE. Inspired by the synergy, we propose a new KGE model by leveraging all three operations in this work. Since translation, rotation, and scaling operations are cascaded to form a compound one, the new model is named CompoundE. By casting CompoundE in the framework of group theory, we show that quite a few scoring-function-based KGE models are special cases of CompoundE. CompoundE extends the simple distance-based relation to relation-dependent compound operations on head and/or tail entities. To demonstrate the effectiveness of CompoundE, we conduct experiments on three popular KG completion datasets. Experimental results show that CompoundE consistently achieves the state of-the-art performance.

研究の動機と目的

• 1-N、N-1、N-N 型の複雑な関係を扱う際の、既存の KGE モデルの限界を解消すること。
• メモリ制約によりモデル容量が制限される低次元埋め込み空間における性能向上。
• 翻訳と回転操作を一般化することで、多様な KGE モデルを統一的な幾何的枠組みに統合すること。
• 大規模知識グラフ上で、性能を維持または向上させつつ、モデルの複雑さとパラメータ数を削減すること。

提案手法

• CompoundE は、ベクトル空間における翻訳、回転、スケーリングの複合操作として関係をモデル化する。
• パラメトリックな変換を用いる：$ \mathbf{t} \approx \mathbf{T} \cdot \mathbf{R}(\theta) \cdot \mathbf{S} \cdot \mathbf{h} $、ここで $ \mathbf{T} $、$ \mathbf{R}(\theta) $、$ \mathbf{S} $ はそれぞれ翻訳、回転（複素数による表現）、スケーリングの成分を表す。
• 群論に裏付けられ、アフィン群が複雑な関係のモデル化に数学的保証を提供する。
• 頭部、末尾、両方のエンティティに変換が作用するかに応じて、3 種類のバリエーションを提案：CompoundE-Head、CompoundE-Tail、CompoundE-Full。
• スコアリング関数は、変換された頭部エンティティと末尾エンティティとの間の L1 または L2 距離に基づく。
• 関係埋め込みはエンティティ間で共有され、負例サンプリングと確率的最適化を用いてエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 翻訳、回転、スケーリング操作を統合した統一的 KGE モデルが、既存のモデルを上回る性能を達成できるか。
• RQ2 複合幾何変換が、1-N、N-1、N-N 関係などの複雑な関係タイプのモデル化をどのように改善するか。
• RQ3 複合操作フレームワークが、TransE や RotatE といった既存の KGE モデルを特別なケースとして一般化できるか。
• RQ4 特に大規模 KG において、顕著に少ないパラメータ数で高い性能を維持できるか。
• RQ5 学習された変換成分（翻訳、回転、スケーリング）が、現実世界の関係の意味的性質をどのように反映するか。

主な発見

• FB15k-237 において、CompoundE は最先端の性能を達成し、Hits@10 が 0.783、MRR が 0.394 で、すべてのベースラインを上回った。
• WN18RR では、Hits@10 が 0.763、MRR が 0.387 で、RotatE や PairRE を上回った。
• ogbl-wikikg2 では、わずか 250.3M パラメータで最高の性能を達成し、TransE や ComplEx などのモデルと比較してモデルサイズを半分以下に削減した。
• 関係埋め込みの可視化により、対称的関係（例：'friend'）はほぼゼロの翻訳およびスケーリング値を示し、理論的期待と整合的であった。
• N-N 関係は特異的なスケーリング行動を示すなど、学習済みパラメータの分布を通じて、モデルの複雑な関係のモデル化能力が裏付けられた。
• t-SNE 可視化により、CompoundE からのエンティティ埋め込みが、色分けされたエンティティタイプごとに部分的に分離されていることから、意味的構造を捉えていることが示された。