[論文レビュー] Combining Embeddings and Rules for Fact Prediction (Invited Paper)

Ding, Boyang, Wang, Quan+2 more|arXiv (Cornell University)|May 7, 2018

Advanced Graph Neural Networks参考文献 43被引用数 30

ひとこと要約

本稿では、エンティティ表現への非負制約と関係表現への近似的包含制約を適用することで、モデルの性能と解釈可能性を向上させる知識グラフ埋め込み手法 ComplEx-NNE+AER を提案する。これらの単純でスケーラブルな制約は、計算コストを増加させることなく WordNet、Freebase、DBpedia におけるリンク予測精度を向上させ、強力なベースラインを著しく上回り、より構造的で解釈可能な埋め込みをもたらす。

ABSTRACT

Embedding knowledge graphs (KGs) into continuous vector spaces is a focus of current research. Early works performed this task via simple models developed over KG triples. Recent attempts focused on either designing more complicated triple scoring models, or incorporating extra information beyond triples. This paper, by contrast, investigates the potential of using very simple constraints to improve KG embedding. We examine non-negativity constraints on entity representations and approximate entailment constraints on relation representations. The former help to learn compact and interpretable representations for entities. The latter further encode regularities of logical entailment between relations into their distributed representations. These constraints impose prior beliefs upon the structure of the embedding space, without negative impacts on efficiency or scalability. Evaluation on WordNet, Freebase, and DBpedia shows that our approach is simple yet surprisingly effective, significantly and consistently outperforming competitive baselines. The constraints imposed indeed improve model interpretability, leading to a substantially increased structuring of the embedding space. Code and data are available at https://github.com/iieir-km/ComplEx-NNE_AER.

研究の動機と目的

• 計算コストを増加させることなく、単純で解釈可能な制約を組み込むことで知識グラフ埋め込みを改善すること。
• 非負性制約を通じて、よりコンactで意味的に意味のあるエンティティ表現を学習すること。
• 近似的包含制約を用いて、論理的規則性を分散表現に組み込むこと。
• モデルの解釈可能性と埋め込み空間の構造的組織性を向上させること。
• 多様なベンチマーク知識グラフにおいて一貫した性能向上を達成すること。

提案手法

• エンティティ埋め込みに非負性制約を適用し、スパarsity と解釈可能性を促進すること。
• 関係の統計的性質から近似的包含制約を学習し、手動でのルール作成を回避すること。
• 制約を ComplEx モデルフレームワークに統合し、その効率性とスケーラビリティを保持すること。
• 複素数値埋め込みの実部および虚部を、エンティティおよび関係の表現に用いること。
• 制約付き最適化を用いてエンドツーエンドでモデルを最適化し、時間的・空間的計算量を低く保つこと。
• 関係表現に基づくヒューリスティクスを用いて、同値関係および逆関係を自動で同定すること。

実験結果

リサーチクエスチョン

• RQ1 単純で自動的に導出された制約は、知識グラフ埋め込みの性能を向上させ得るか？
• RQ2 非負性制約はエンティティ表現のスパarsity と解釈可能性にどのように影響するか？
• RQ3 近似的包含制約は、関係間の論理的規則性を効果的に表現できるか？
• RQ4 このような制約の統合は、効率性を損なわずにリンク予測精度を向上させるか？
• RQ5 制約は、埋め込み空間の構造的組織性をどの程度向上させるか？

主な発見

• 提案手法 ComplEx-NNE+AER は、WordNet、Freebase、DBpedia におけるリンク予測タスクで、強力なベースラインを著しく上回る顕著で一貫した性能向上を達成した。
• 非負性制約により、エンティティ表現がよりコンパクトかつ解釈可能になり、各エンティティがわずか数次元でのみ活性化された。
• 活性次元におけるエンティティタイプ分布の平均エントロピーが顕著に低下し、学習された表現の意味的純度が向上した。
• 近似的包含制約は論理的規則性を効果的に表現した：同値関係は類似した表現を持ち、逆関係は共役表現を持つ。
• 埋め込み空間は著しく構造的になり、同じタイプのエンティティが共有される活性次元にクラスタリングされた。
• 本手法は高い効率性とスケーラビリティを維持しており、学習および推論時間に悪影響を及げなかった。