[論文レビュー] Compositional Vector Space Models for Knowledge Base Completion

Arvind Neelakantan, Benjamin Roth+1 more|arXiv (Cornell University)|Apr 24, 2015

Topic Modeling参考文献 45被引用数 92

ひとこと要約

本稿では、再帰ニューラルネットワーク（RNN）を用いて、非アトミックに複数ホップの関係的経路を統合的に組み合わせることで分散表現に変換するコンポジショナルベクタースペースモデルを提案する。1つの高容量RNN組み合わせ関数を学習することで、未学習の関係タイプに対してもゼロショット推論を可能にし、5200万トリプルのデータセットで従来の分類器よりも11%、事前学習された埋め込み手法よりも7%の性能向上を達成した。

ABSTRACT

Knowledge base (KB) completion adds new facts to a KB by making inferences from existing facts, for example by inferring with high likelihood nationality(X,Y) from bornIn(X,Y). Most previous methods infer simple one-hop relational synonyms like this, or use as evidence a multi-hop relational path treated as an atomic feature, like bornIn(X,Z) -> containedIn(Z,Y). This paper presents an approach that reasons about conjunctions of multi-hop relations non-atomically, composing the implications of a path using a recursive neural network (RNN) that takes as inputs vector embeddings of the binary relation in the path. Not only does this allow us to generalize to paths unseen at training time, but also, with a single high-capacity RNN, to predict new relation types not seen when the compositional model was trained (zero-shot learning). We assemble a new dataset of over 52M relational triples, and show that our method improves over a traditional classifier by 11%, and a method leveraging pre-trained embeddings by 7%.

研究の動機と目的

• 知識ベース補完におけるシンボリック経路ベース手法のスケーラビリティと一般化性能の制限を解決すること。
• 関係的経路全体にわたって一般化できるコンポジショナルRNNを学習することで、未学習の関係タイプに対してもゼロショット推論を可能にすること。
• 経路ランク付けアルゴリズムの特徴量爆発問題を、アトミックな経路特徴ではなく分散表現を用いることで克服すること。
• 再帰アーキテクチャによる関係埋め込みの合成を通じて、大規模KBにおける一般化性能を向上させること。
• RNNベースの関係的経路の合成が、従来の分類器や事前学習された埋め込み手法よりも優れた一般化性能を示すことを実証すること。

提案手法

• モデルは、経路に含まれる関係のベクトル埋め込みと、経路の途中までの状態を表す隠れ状態を入力とし、各ステップで合成されたベクトルを出力する再帰ニューラルネットワーク（RNN）を用いる。
• RNNは関係ベクトルを逐次的に合成し、各ステップで隠れ状態を更新することで、成長する経路の意味的意味を反映させる。
• 全経路を処理した後、最終的なRNN隠れ状態を用いて、経路の最初と最後のエンティティ間の関係を予測する。
• 標準的な予測には関係タイプごとに別個のRNNを学習するが、未学習の関係に対してゼロショット学習を実現するためには1つの共有RNNを用いる。
• 関係の分散表現を活用することで、すべての経路を明示的に列挙する必要なく、意味的近傍性に基づく一般化を可能にする。
• 複数のRNNからのアンサンブル予測を用いることで、ローカル最適解の問題を緩和し、モデルのロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 コンポジショナルRNNモデルは、学習時に未見の複数ホップの関係的経路に対しても一般化できるか？
• RQ2 1つのRNN組み合わせ関数は、学習時に未見の関係タイプに対してもゼロショット予測を可能にするか？
• RQ3 関係ベクトルの非アトミックな合成は、アトミックな経路特徴モデルよりも知識ベース補完で優れた性能を示すか？
• RQ4 RNNとベクトル埋め込みを用いることで、従来の分類器や事前学習された埋め込み手法と比較して、一般化性能がどの程度向上するか？
• RQ5 大規模KBにおける経路長や関係の多様性が増加する際、モデルの性能はどのように変化するか？

主な発見

• RNNベースのコンポジショナルモデルは、5200万トリプルのデータセットで従来の経路ランク付け分類器よりも11%の性能向上を達成した。
• 事前学習された関係埋め込みを活用する手法よりも7%の性能向上を達成した。
• 5つのRNNからのアンサンブル予測により、性能は59.16に向上したが、これはロバストネスの向上を示す一方で、最良のベースラインには及ばなかった。
• 目的関係の明示的例なしに学習されたゼロショットモデルは、ランダムベースラインを有意に上回り（p < 0.05）、未学習の関係への一般化を実証した。
• 分類器がビグラム経路特徴を使用する場合に比べ、モデルの性能は局所的な構造的パターンを完全に捉えられていないことが示され、メモリ拡張アーキテクチャの導入によりさらなる改善の余地があることが示唆された。
• 結果から、RNNによる合成が複雑な関係的経路間での効果的な一般化を可能にすることが示され、大規模KB補完への応用価値が裏付けられた。