[論文レビュー] On the representation and embedding of knowledge bases beyond binary relations

Jianfeng Wen, Jianxin Li+3 more|arXiv (Cornell University)|Jul 9, 2016

Topic Modeling参考文献 22被引用数 16

ひとこと要約

本論文は、マルチフォールド（n-ary）関係を扱う知識ベースの正準表現を提案し、従来の埋め込みモデルが想定する二項関係にとどまらない枠組みを提示する。m-TransHは、二項三項への変換で失われる構造的情報を保持する、TransHの一般化されたバージョンであり、二項三項への変換による情報損失を避けることで、最先端の性能を達成する。

ABSTRACT

The models developed to date for knowledge base embedding are all based on the assumption that the relations contained in knowledge bases are binary. For the training and testing of these embedding models, multi-fold (or n-ary) relational data are converted to triples (e.g., in FB15K dataset) and interpreted as instances of binary relations. This paper presents a canonical representation of knowledge bases containing multi-fold relations. We show that the existing embedding models on the popular FB15K datasets correspond to a suboptimal modelling framework, resulting in a loss of structural information. We advocate a novel modelling framework, which models multi-fold relations directly using this canonical representation. Using this framework, the existing TransH model is generalized to a new model, m-TransH. We demonstrate experimentally that m-TransH outperforms TransH by a large margin, thereby establishing a new state of the art.

研究の動機と目的

• 既存の知識ベース埋め込みモデルが多項関係を二項三項に還元することで生じる構造的情報の損失という限界を是正すること。
• n-ary関係の真の構造を保持する知識ベースの正準表現を確立すること。
• 二項分解を経由せずに、n-ary関係を直接モデル化する一般化された埋め込みフレームワークを提案すること。
• この新しいフレームワークを用いて、TransHモデルをn-ary関係に対応可能に拡張し、m-TransHを構築すること。
• 標準ベンチマーク上での実験的評価を通じて、n-ary関係を直接モデル化することで性能が向上することを実証すること。

提案手法

• 二項三項に還元しない形で、n-ary関係を明示的に捉える知識ベースの正準表現を提案する。
• 正準表現を用いて、TransHのスコア関数をn-ary関係に拡張し、再定式化する。
• エンティティと関係がn-ary構造を尊重する形で統合的に埋め込まれる新しい埋め込み空間を導入する。
• TransHの関係固有の超平面を、多引数関係に対応可能に変更し、n-ary相互作用を直接モデル化可能にする。
• マージンに基づくランク学習損失を用いてモデルを訓練し、TransHの最適化目的関数をn-aryケースに拡張しつつ保持する。
• n-ary関係を埋め込み空間にマップする微分可能な変換を採用し、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 二項三項への変換で失われる構造的情報を保持するn-ary関係の正準表現を定義できるか？
• RQ2 n-ary関係を直接モデル化することで、知識ベース埋め込みタスクの性能が向上するか？
• RQ3 n-aryデータに適用した場合、一般化されたTransHモデル（m-TransH）の性能は元のTransHと比べてどの程度優れるか？
• RQ4 既存の二項関係ベースの埋め込みモデルでは、多項関係からの構造的情報がどの程度保持されているか？
• RQ5 提案されたフレームワークは、FB15Kのような標準的な知識ベースベンチマークに効果的に拡張可能か？

主な発見

• n-ary関係の正準表現は、二項三項への変換で失われる構造的情報を効果的に捉えている。
• m-TransHは、標準ベンチマーク上でのTransHを大きく上回り、新たな最先端性能を確立した。
• 性能向上の背景には、埋め込み学習過程で真のn-ary関係的構造が保持されたことが要因である。
• TransHのような既存モデルは、二項三項への変換プロセスで構造的詳細を無意識に放棄しているため、最適でない。
• 提案されたフレームワークにより、近似や分解を経由せずにn-ary関係の直接モデル化が可能になった。
• 実験結果は、関係を元のn-ary形式そのものでモデル化することで、より表現力が高く正確な知識ベース埋め込みが得られることを確認した。