[論文レビュー] HousE: Knowledge Graph Embedding with Householder Parameterization

Rui Li, Jianan Zhao+10 more|arXiv (Cornell University)|Feb 16, 2022

Advanced Graph Neural Networks被引用数 20

ひとこと要約

HousEはHouseholder回転とHouseholder射影を導入し、高次元の関係回転と関係マッピング特性をモデル化することで、5つのベンチマークにおいて最先端の KG 埋め込み性能を達成します。

ABSTRACT

The effectiveness of knowledge graph embedding (KGE) largely depends on the ability to model intrinsic relation patterns and mapping properties. However, existing approaches can only capture some of them with insufficient modeling capacity. In this work, we propose a more powerful KGE framework named HousE, which involves a novel parameterization based on two kinds of Householder transformations: (1) Householder rotations to achieve superior capacity of modeling relation patterns; (2) Householder projections to handle sophisticated relation mapping properties. Theoretically, HousE is capable of modeling crucial relation patterns and mapping properties simultaneously. Besides, HousE is a generalization of existing rotation-based models while extending the rotations to high-dimensional spaces. Empirically, HousE achieves new state-of-the-art performance on five benchmark datasets. Our code is available at https://github.com/anrep/HousE.

研究の動機と目的

• KGEにおいて対称性、反対称性、反転、組合せといった包括的な関係パターンおよび関係マッピング特性をモデル化する必要性を動機づける。
• 高次元で回転を表現する一般的で高容量なパラメータ化をHouseholder変換に基づいて提案する。
• 関係パターンとマッピング特性の両方を捉えるため、Householder回転と可逆なHouseholder射影を組み合わせる。
• HousEが既存の回転ベースのモデルを一般化し、標準ベンチマークで最先端の結果を達成することを示す。
• 高次元の回転と可逆射影の有効性を広範な実験を通じて示す。

提案手法

• Householder反射を介した高次元回転として関係を表現し、任意のk次元回転を2× floor(k/2) 回の反射の積として表現できる（Rot-H）。
• Relational Householder Projectionを導入し、頭部と尾部エンティティの関係特有で可逆な表現を生成する（Pro-H）。
• 射影と回転を統一的なフレームワーク（HousE）で組み合わせ、すべてのターゲット関係パターンとマッピング特性をモデル化する。
• 回転頭部射影と射影尾部の間の行ごとのL2距離を合計して距離ベースのスコアd_r(h,t)を定義する。
• Householder構造によりガードされた行列—ベクトル積を等価なベクトル演算に変換して効率的な計算を提供する。
• HousEを従来の回転ベースモデル（RotatE、Rotate3D、QuatE）と整合させ、またはそれらの特殊ケースとして拡張する。

実験結果

リサーチクエスチョン

• RQ1 Householderパラメータ化はKGの共通の関係パターンとマッピング特性を捉えるために必要なk次元回転をすべて表現できるか？
• RQ2 高次元のHouseholder回転と可逆なHouseholder射影を組み合わせることで、すべての関係パターンとRMPを既存の回転ベース手法よりも優しくモデル化できるか？
• RQ3 標準的なKGベンチマークでHousEは強力なベースラインと比較してどの程度の性能を示すか、ハイパーパラメータ（回転次元k、射影数m）は性能にどう影響するか？
• RQ4 提案された射影は可逆性を保持し、以前の射影では捉えられなかった反転と組合せパターンをモデル化できるか？

主な発見

• HousE-r（回転のみ）はWN18とFB15kでベースラインを上回り、高次元のHouseholder回転の力を示す。
• HousE（回転と射影を組み合わせる）はWN18とFB15kの両方で新たな最先端結果を達成し、特に関係マッピング特性の改善に寄与。
• WN18RR、FB15k-237、YAGO3-10ではHousE-rとHousEがほとんどのベースラインを上回り、指標全体でHousEがしばしば最良の結果を提供。
• 関係的Householder射影により難関の1対多および多対1の関係で性能が大幅に向上。
• アブレーション比較（HousH、HousR）は不可逆的な射影が性能を妨げることを示し、HousEの可逆Householder射影が明確な利得を提供。
• 翻訳を追加する変種（HousE-r+、HousE+）はさらなる改善を示し、階層的情報モデリングの利点を示唆。