[論文レビュー] Highly Efficient Knowledge Graph Embedding Learning with Orthogonal Procrustes Analysis

Xutan Peng, Guanyi Chen+2 more|arXiv (Cornell University)|Apr 9, 2021

Advanced Graph Neural Networks参考文献 51被引用数 17

ひとこと要約

この論文は、関係行列を用いたフルバッチ学習、閉形式直交プロクラステス解析、非負のサンプリングを組み合わせることで、訓練時間と二酸化炭素排出量をそれぞれ最大98.4%および99.3%まで削減する、非常に効率的な知識グラフ埋め込みフレームワークであるPROCRUSTESを提案する。単一のベクトル空間にエンティティおよび関係の両方の情報を特徴的に統合的に符号化することで、競争力のある性能を維持しつつ、解釈性が高く意味論的に豊かな埋め込みを実現する。

ABSTRACT

Knowledge Graph Embeddings (KGEs) have been intensively explored in recent years due to their promise for a wide range of applications. However, existing studies focus on improving the final model performance without acknowledging the computational cost of the proposed approaches, in terms of execution time and environmental impact. This paper proposes a simple yet effective KGE framework which can reduce the training time and carbon footprint by orders of magnitudes compared with state-of-the-art approaches, while producing competitive performance. We highlight three technical innovations: full batch learning via relational matrices, closed-form Orthogonal Procrustes Analysis for KGEs, and non-negative-sampling training. In addition, as the first KGE method whose entity embeddings also store full relation information, our trained models encode rich semantics and are highly interpretable. Comprehensive experiments and ablation studies involving 13 strong baselines and two standard datasets verify the effectiveness and efficiency of our algorithm.

研究の動機と目的

• 既存の知識グラフ埋め込み（KGE）手法の高い計算コストと環境への影響を是正すること。
• 性能を損なわず、訓練時間とCO2排出量を大幅に削減するKGEフレームワークの開発。
• 関係ごとにタプルをグループ化することで、効率的な並列処理を可能にするフルバッチ学習の実現。
• KGEに閉形式解を用いた直交プロクラステス解析を適用し、反復的最適化に代えて高速化を実現すること。
• エンティティ埋め込みが、エンティティおよび関係の両方の意味的特徴を同時に符号化できることを示し、解釈性を向上させること。

提案手法

• 関係行列によるフルバッチ学習：タプルを関係ごとにグループ化することで、バッチ間での効率的かつ並列処理が可能になる。
• 閉形式直交プロクラステス解析：KGEにプロクラステス問題を新規に応用し、反復的最適化の代わりに直接的な行列解を用いることで、訓練を高速化する。
• 非負のサンプリング訓練：負例サンプリングの必要性を排除し、計算負荷と帯域使用量を削減する。
• セグメント化埋め込み：エンティティ表現を独立した部分ベクトル（d/ds）に分割することで、並列処理を可能にし、行列計算の複雑さを低減する。
• エンティティおよび関係の意味的特徴の統合符号化：エンティティ埋め込みが完全な関係情報を保持できるように設計され、解釈性と表現力が向上する。
• 関係行列のパーティショニング：図1に示すように、関係ごとに行列を分割することで、効率的なバッチ処理を可能にし、同期の衝突を低減する。

実験結果

リサーチクエスチョン

• RQ1 KGEフレームワークは、訓練時間と炭素排出量を桁違いに削減しながら、最先端の性能を達成できるか？
• RQ2 閉形式直交プロクラステス解析をKGE訓練に効果的に適用し、反復的最適化に置き換えられるか？
• RQ3 非負のサンプリング訓練は、高コストな負例サンプリングを排除しながらも、モデルの性能を維持できるか？
• RQ4 エンティティ埋め込みを、エンティティおよび関係の両方の意味的特徴を1つのベクトル空間に符号化できるように設計できるか？解釈性が向上するか？
• RQ5 提案された関係行列バッチ処理戦略は、標準的なランダムバッチ処理と比較して、速度とスケーラビリティで優れているか？

主な発見

• PROCRUSTESは、標準ベンチマーク上での最先端のKGE手法と比較して、最大98.4％の訓練時間短縮を達成した。
• 二酸化炭素排出量は最大99.3％削減され、1回の訓練でコーヒー2杯分未満の排出量に相当する。
• PROCRUSTESが生成するエンティティ埋め込みは、非常に解釈可能であり、3次元PCA可視化では、場所、生化学的用語、職業などのカテゴリに対応する明確な意味的クラスタが観察された。
• WN18RRおよびFB15k-237のリンク予測タスクにおいて、競争力のある性能を示し、最先端の結果と同等またはそれを上回った。
• このフレームワークは、エンティティと関係の両方の意味的特徴を1つのベクトル空間に統合的に符号化できており、従来の手法よりも豊かで解釈性の高い表現を実現した。
• アブレーションスタディの結果、関係バッチ処理、閉形式プロクラステス、非負のサンプリングの各要素が、効率性および性能向上に顕著な寄与をしていることが確認された。