[論文レビュー] Cross-lingual Entity Alignment via Joint Attribute-Preserving Embedding

Zequn Sun, Wei Hu+1 more|arXiv (Cornell University)|Aug 16, 2017

Topic Modeling参考文献 22被引用数 38

ひとこと要約

本稿では、機械翻訳に依存せずに、多言語知識ベース内の構造と属性相関を同時に学習する、属性を保持する統合埋め込みモデルを提案する。関係と属性の三項対を統一されたベクトル空間に統合することで、最先端の埋め込みベース手法を著しく上回り、翻訳ベース手法とも補完的であり、実世界のデータセットでSOTAの結果を達成した。

ABSTRACT

Entity alignment is the task of finding entities in two knowledge bases (KBs) that represent the same real-world object. When facing KBs in different natural languages, conventional cross-lingual entity alignment methods rely on machine translation to eliminate the language barriers. These approaches often suffer from the uneven quality of translations between languages. While recent embedding-based techniques encode entities and relationships in KBs and do not need machine translation for cross-lingual entity alignment, a significant number of attributes remain largely unexplored. In this paper, we propose a joint attribute-preserving embedding model for cross-lingual entity alignment. It jointly embeds the structures of two KBs into a unified vector space and further refines it by leveraging attribute correlations in the KBs. Our experimental results on real-world datasets show that this approach significantly outperforms the state-of-the-art embedding approaches for cross-lingual entity alignment and could be complemented with methods based on machine translation.

研究の動機と目的

• 機械翻訳の品質のばらつきに起因する既存の多言語間エンティティアライメント手法の限界を是正すること。
• KB埋め込みモデルでしばしば無視されがちな属性三項対を、埋め込み空間でその相関関係を保持する形で探索・活用すること。
• 構造的関係と属性の共起パターンを併用して、多言語知識ベースを統合的に埋め込むことで、アライメント精度を向上させること。
• 自然言語ラベルへの依存を最小限に抑えることで、低リソースまたは翻訳品質が低い環境でも頑健な手法を構築すること。
• 大規模データセット上でのモデルのスケーラビリティと翻訳ベース手法との補完性を評価すること。

提案手法

• 本手法は2つのモジュールを採用する：構造埋め込み（SE）は関係三項対をモデル化し、既存の多言語間エンティティおよびプロパティマッピングをブリッジとして用いてKBをアライメントする。
• 属性埋め込み（AE）は、エンティティ間での属性の共起パターンを捉え、共有される属性プロファイルに基づいてエンティティをクラスタリングすることで、意味的相関関係を保持する。
• SEモジュールとAEモジュールを統合的に最適化することで、2つのKBのすべてのエンティティを共通のd次元ベクトル空間ℝ^dに埋め込む。
• エンティティアライメントは、共通埋め込み空間における最近傍探索によって実行され、アライメント済みエンティティは期待どおりに近接する。
• 関係ベースと属性ベースの正則化を統合した損失関数を用いることで、関係的および属性レベルの意味を両方とも保持する。
• 本手法はスケーラビリティと頑健性を考慮して設計されており、アブレーションスタディにより属性情報と統合学習の貢献が確認されている。

実験結果

リサーチクエスチョン

• RQ1 構造的関係と属性相関の統合的モデリングは、構造のみに依存するモデルを上回る多言語間エンティティアライメントを実現できるか？
• RQ2 機械翻訳が失敗する低リソースまたは翻訳品質が低い環境において、本手法はどの程度有効か？
• RQ3 関係三項対のみと比較して、属性三項対はアライメント性能にどの程度寄与するか？
• RQ4 本提案埋め込みモデルは、機械翻訳ベース手法と効果的に組み合わせられ、相互に補完的効果を発揮できるか？
• RQ5 大規模な多言語KBに対して、本統合属性保持埋め込みモデルのスケーラビリティはどの程度か？

主な発見

• DBP15Kデータセットでは、提案手法（JAPE）がZH→ENで73.09% Hits@1、JA→ENで82.84% Hits@1を達成し、すべてのベースライン埋め込み手法を上回った。
• JAPEと機械翻訳の組み合わせは、ZH→ENで96.61% Hits@50を達成し、いずれの手法単体よりも顕著に優れた性能を示した。
• DBP100Kでは、JAPEがFR→ENで53.64% Hits@10を達成し、MTransE（44.84%）およびJE（22.98%）を上回った。
• 本モデルは疎なエンティティや多対多関係に対しても頑健であり、大規模データセットでも性能低下は限定的であった。
• アブレーションスタディにより、属性埋め込みがアライメントに顕著に寄与することが示された。属性モデリングを除去すると、性能の著しい低下が観察された。
• 本手法は機械翻訳ベース手法と強く補完的であった。翻訳はトップ1の精度で優れていたが、JAPEはHits@10およびHits@50で優位を示し、長尾アライメントに優れた性能を発揮した。