[論文レビュー] Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment

Xinhang Li, Yong Zhang+1 more|arXiv (Cornell University)|Jan 25, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本論文では、関係的知識蒸留を用いて、エンティティアライメントにおいて知識埋め込みと近傍コンセンサスを共同で学習するGCNベースのモデルRKDEAを提案する。教師モデルから生徒モデルへの関係的意味を蒸留することで、適応的温度制御機構を用いて、対立する目的を効果的にバランスさせ、ベンチマークデータセット上で最先端の性能を達成した。

ABSTRACT

Entity alignment aims at integrating heterogeneous knowledge from different knowledge graphs. Recent studies employ embedding-based methods by first learning the representation of Knowledge Graphs and then performing entity alignment via measuring the similarity between entity embeddings. However, they failed to make good use of the relation semantic information due to the trade-off problem caused by the different objectives of learning knowledge embedding and neighborhood consensus. To address this problem, we propose Relational Knowledge Distillation for Entity Alignment (RKDEA), a Graph Convolutional Network (GCN) based model equipped with knowledge distillation for entity alignment. We adopt GCN-based models to learn the representation of entities by considering the graph structure and incorporating the relation semantic information into GCN via knowledge distillation. Then, we introduce a novel adaptive mechanism to transfer relational knowledge so as to jointly learn entity embedding and neighborhood consensus. Experimental results on several benchmarking datasets demonstrate the effectiveness of our proposed model.

研究の動機と目的

• エンティティアライメントにおける知識埋め込みと近傍コンセンサスの学習の間のトレードオフを解消すること。
• スパarsesまたは異種の知識グラフにおいて、関係的意味情報を効果的に活用することで、エンティティアライメントの性能を向上させること。
• 従来のモデルが抱える対立する最適化目的に起因する過学習を克服すること。
• 適応的温度制御機構を用いて、トレーニング中に関係的知識と近傍コンセンサスのバランスを動的に制御すること。
• 教師モデルから生徒モデルへの関係的知識の転送を可能にし、アライメント精度を向上させること。

提案手法

• ハイウェイゲーテッドGCNを用いて、近傍情報の集約とグラフ構造の統合により、エンティティ表現を学習する。
• 2つの別々のモデルをトレーニングすることで知識蒸留を実装：一方は関係的知識に焦点を当てた（教師）、他方は近傍コンセンサスに焦点を当てた（生徒）。
• 関係に敏感な表現を一致させるための蒸留損失を用いて、教師モデルから生徒モデルへの関係的知識の転送を実施する。
• 蒸留された関係的知識の寄与度を動的に制御するための適応的温度メカニズムを導入し、固定されたハイパーパrameterチューニングを回避する。
• 最終的なモデルは、近傍コンセンサス損失と蒸留損失の重み付き組み合わせを通じて、両方の目的を共同で最適化する。
• 本フレームワークはDBP15Kおよびその他のベンチマークデータセットで評価され、クロスリンガルおよびクロスドメイン設定において一貫した性能向上を示した。

実験結果

リサーチクエスチョン

• RQ1 エンティティアライメントにおいて、関係的知識と近傍コンセンサスをどのように効果的にバランスさせ、最適化の衝突を回避できるか？
• RQ2 知識蒸留は、GCNベースのエンティティアライメントモデルに関係的意味情報を統合するのを改善できるか？
• RQ3 固定温度と比較して、知識蒸留における適応的温度メカニズムの影響は何か？
• RQ4 スパarsesまたは異種の知識グラフにおいて、関係的知識蒸留は性能にどの程度向上効果をもたらすか？
• RQ5 提案されたフレームワークは、自らのアーキテクチャを越えて、既存のエンティティアライメントモデルの性能向上に一般化可能か？

主な発見

• RKDEAはDBP15Kで最先端の性能を達成し、DBP_FR-ENではHits@1が0.601に達し、以前のSOTA手法を上回った。
• 関係的知識蒸留を適用したモデル（w/ RKD）は、ベースラインのKECGモデルと比較して、平均でHits@1が4.5%向上した。
• 適応的温度メカニズムは、固定温度ベースラインと比較して、より高い最終的なHits@1と良好な収束を示した。
• アブレーションスタディにより、関係的知識蒸留がKECG、HyperKA、RKDEAの各モデルにおいて顕著な性能向上をもたらすことが確認された。
• 性能向上は特にクロスリンガル設定で顕著であり、言語に依存しないエンティティアライメントの処理において本手法の有効性を示している。
• 結果から、蒸留による関係的知識の統合が、特に近傍構造のみに依存すると誤アライメントを引き起こす場合（例：ニューヨーク州 vs ニューヨークシティ）のアライメントのロバスト性を向上させることを示している。