[論文レビュー] BoxE: A Box Embedding Model for Knowledge Base Completion

Ralph Abboud, İsmail İlkan Ceylan+2 more|arXiv (Cornell University)|Jul 13, 2020

Topic Modeling参考文献 45被引用数 27

ひとこと要約

BoxEは、エンティティを潜在空間内の点として、関係をハイパーレクタングル（ボックス）として表現する、新しいボックス埋め込みモデルである。このアプローチにより、完全な表現力、論理規則のサポート、高次元関係の扱いが可能となり、知識ベース補完ベンチマークで最先端の性能を達成する。また、論理規則の統合により顕著な性能向上を実現し、エンティティクラスや関係タイプの幾何学的符号化により高い解釈可能性を示す。

ABSTRACT

Knowledge base completion (KBC) aims to automatically infer missing facts by exploiting information already present in a knowledge base (KB). A promising approach for KBC is to embed knowledge into latent spaces and make predictions from learned embeddings. However, existing embedding models are subject to at least one of the following limitations: (1) theoretical inexpressivity, (2) lack of support for prominent inference patterns (e.g., hierarchies), (3) lack of support for KBC over higher-arity relations, and (4) lack of support for incorporating logical rules. Here, we propose a spatio-translational embedding model, called BoxE, that simultaneously addresses all these limitations. BoxE embeds entities as points, and relations as a set of hyper-rectangles (or boxes), which spatially characterize basic logical properties. This seemingly simple abstraction yields a fully expressive model offering a natural encoding for many desired logical properties. BoxE can both capture and inject rules from rich classes of rule languages, going well beyond individual inference patterns. By design, BoxE naturally applies to higher-arity KBs. We conduct a detailed experimental analysis, and show that BoxE achieves state-of-the-art performance, both on benchmark knowledge graphs and on more general KBs, and we empirically show the power of integrating logical rules.

研究の動機と目的

• 既存の知識ベース補完（KBC）モデルにおける主な限界、すなわち理論的表現力の欠如、論理規則のサポート不足、高次元関係の取り扱いの悪さを解消すること。
• 完全な表現力、規則の統合、高次元知識ベースへの一般化を同時に達成するモデルの開発。
• 階層、排反性、対称性といった論理的推論パターンを、幾何学的ボックス表現を通じて自然に符号化すること。
• ボックス埋め込みによる論理規則の統合が、KBCの性能と学習収束に顕著な改善をもたらすかどうかを実証的に検証すること。

提案手法

• エンティティはd次元の点として埋め込まれるが、関係はd次元のハイパーレクタングル（ボックス）として表現され、論理的性質が空間的に符号化される。
• 事実 r(e1,…,en) のスコアは、エンティティの点埋め込みと対応する関係ボックスとの幾何的関係に基づき、包含関係と距離基準を用いて算出される。
• 正しい事実が関係ボックス内にあり、偽の事実が外にあるように促進する微分可能な損失関数が使用され、エンドツーエンドの学習が可能になる。
• 論理的含意（例：包含関係 A ⊆ B や排反性 A ∩ B = ∅）を満たすようにボックスのパラメータを制約することにより、論理規則を統合する。
• n項関係への一般化により、高次元関係をサポートする。各引数位置に対してヘッドボックスとテールボックスを別々に定義する。
• 双曲正弦関数による正規化により、埋め込みを [−1, 1]^d にマップし、解釈可能性と安定性を確保するためのボックス体積の有界性を達成する。

実験結果

リサーチクエスチョン

• RQ1 ボックスベースの埋め込みモデルは、翻訳モデルにおける理論的表現力の欠如を克服し、知識ベース補完において完全な表現力を達成できるか？
• RQ2 BoxEは、豊富な規則言語に含まれるような複雑な論理規則を、どの程度自然に符号化・統合できるか？
• RQ3 BoxEは高次元知識ベースにどの程度一般化できるか。また、エンティティクラスや関係タイプの解釈可能性は保持されるか？
• RQ4 BoxEによる論理規則の統合は、KBCの性能向上と学習収束の改善を顕著にもたらすか？

主な発見

• BoxEは、複数のベンチマーク知識グラフおよび一般知識ベースにおいて、リンク予測および規則統合タスクの両方で、既存のモデルを上回る最先端の性能を達成した。
• このモデルは完全に表現可能であり、翻訳ベースのモデルとしては初の事例である。任意の知識ベース、特に複雑な論理構造を含むものにも、証明可能に適合可能である。
• BoxEは論理的推論パターンを的確に捉え、強制することができる。例えば、isMarriedTo のような対称的関係は、ヘッドボックスとテールボックスのサイズがほぼ同一になるように表現され、対称性モデリングの有効性が裏付けられた。
• 埋め込み空間における大きなボックス体積は、より一般的な関係および多様なエンティティタイプを示しており、エンティティクラスと意味的多様性の効果的なモデリングを示している。
• 規則統合を施した変種、BoxE+RI は、標準のBoxEよりも高速に収束し、顕著に高い性能を達成した。ピークMRRは500エポック未満で達成された。
• モデルの幾何学的解釈により、関係タイプの正確な推論が可能である。テールボックスが大きいと1対多関係を示し、ヘッドボックスが大きいと多対1関係を示し、バランスの取れたサイズは多対多または1対1関係を示す。