[論文レビュー] Embedding Entities and Relations for Learning and Inference in Knowledge Bases

Bishan Yang, Wen-tau Yih+3 more|arXiv (Cornell University)|Dec 20, 2014

Topic Modeling参考文献 37被引用数 2,032

ひとこと要約

本稿では、知識ベースの表現学習のための統一的ニューラル埋め込みフレームワークを提案し、単純な双線形モデルがリンク予測において最先端の性能を達成することを示している（Freebaseではトップ10正解率73.2%、TransEを上回る）。さらに、学習済み関係埋め込みを用いた新たなルールマイニング手法を導入し、行列積による合成的意味解析を効果的に実現。これは、関係の合成を含む論理的ルール抽出においてAMIEを上回る性能を発揮する。

ABSTRACT

Compared to black-box neural networks, logic rules express explicit knowledge, can provide human-understandable explanations for reasoning processes, and have found their wide application in knowledge graphs and other downstream tasks. As extracting rules manually from large knowledge graphs is labour-intensive and often infeasible, automated rule learning has recently attracted significant interest, and a number of approaches to rule learning for knowledge graphs have been proposed. This survey aims to provide a review of approaches and a classification of state-of-the-art systems for learning first-order logic rules over knowledge graphs. A comparative analysis of various approaches to rule learning is conducted based on rule language biases, underlying methods, and evaluation metrics. The approaches we consider include inductive logic programming (ILP)-based, statistical path generalisation, and neuro-symbolic methods. Moreover, we highlight important and promising application scenarios of rule learning, such as rule-based knowledge graph completion, fact checking, and applications in other research areas.

研究の動機と目的

• 既存の多関係埋め込みモデルを統一的なニューラルネットワークフレームワークに統合し、体系的な比較を可能にする。
• 異なるエンティティおよび関係表現設計がリンク予測性能に与える影響を評価する。
• 明示的な論理的監視に依存せずに、学習済み埋め込みから論理的ルールをマイニングする新規手法を開発・検証する。
• 学習済み埋め込みが、特に行列積を用いた合成的意味を捉えられるかを検証する。
• 埋め込みベースのルールマイニングの有効性を、最先端の信頼度ベースのルールマイニング（AMIE）と比較し、合成的推論タスクにおける性能を検証する。

提案手法

• エンティティを低次元ベクトル、関係を双線形または線形演算子として表現するニューラルネットワークフレームワークとして、多関係学習を定式化する。
• 双線形定式化を採用し、トリプル (e1, r, e2) のスコアを e1^T * R_r * e2 として計算。ここで R_r は関係 r 用の学習可能行列である。
• 正例と誤例のスコア差を最適化するマージンベースのランク学習損失関数を採用。
• 学習済み関係埋め込みの幾何的構造を分析するために t-SNE 視覚化を適用。
• EMBEDRULE を開発。この手法は、行列積による関係埋め込みの合成を計算し、埋め込み空間における最近傍探索に基づいてルールを抽出する。
• ルールマイニングの評価指標として、手動ラベル付き上位予測の精度を用い、動的関係を含むルールに対してフィルタリングを実施。

実験結果

リサーチクエスチョン

• RQ1 統一的フレームワークは、NTN や TransE といった既存の多関係埋め込みモデルを一般化できるか？
• RQ2 単純な双線形定式化は、リンク予測タスクにおいて、TransE や他の既存モデルを上回る性能を発揮するか？
• RQ3 学習済み関係埋め込みは、『BornInCity』と『CityInCountry』の合成によって『Nationality』を推論するような、関係の合成的意味を効果的に捉えられるか？
• RQ4 合成的推論を要するルールに対して、埋め込みベースのルールマイニングは、信頼度ベースのルールマイニング（AMIE）を上回るか？
• RQ5 異なる関係表現タイプ（双線形、加法的、対角）は、抽出された論理的ルールの品質にどのように影響するか？

主な発見

• 双線形モデルは Freebase のリンク予測においてトップ10正解率73.2%を達成し、TransE の54.7%を顕著に上回った。
• 双線形定式化は、長さ2および長さ3の Horn ルールマイニングにおいて、DISTMULT や DISTADD を常に上回り、特にルール長が増加するにつれてその優位性が顕著になった。
• 双線形埋め込みを用いた EMBEDRULE は、エンティティのインスタンスに依存せず、純粋に関係埋め込みから 'BornInCity ^ CityInCountry → Nationality' といったルールを効果的に抽出できた。
• DISTMULT と BILINEAR は DISTADD よりもルールマイニングで優れた性能を示し、行列積による乗法的合成が加法的合成よりも関係の意味をより良く捉えていることが示された。
• 視覚化結果から、DISTMULT 埋め込みは解釈可能なクラスタ（例：/film/release_region と /film/country の近接）を形成している一方、DISTADD 埋め込みは明確な構造を欠いていた。
• t-SNE 初期化を施した双線形埋め込みに基づく手法（DISTMULT-TANH-EV-INIT）が全体的に最も優れた性能を示し、特に長ルールに対して優位であった。これは、複雑な意味のモデル化が向上したことを示唆している。