[論文レビュー] Role-Aware Modeling for N-ary Relational Knowledge Bases

Yu Liu, Quanming Yao+1 more|arXiv (Cornell University)|Apr 20, 2021

Advanced Graph Neural Networks参考文献 45被引用数 7

ひとこと要約

本稿では、n-ary関係的知識ベースのための新しいフレームワークであるロールアウェアモデリング（RAM）を提案する。RAMは、潜在空間における基本ベクトルの線形結合として意味的ロールを表現するとともに、ロール固有のパターン行列を用いてエンティティとの適合性を捉える。マルチリニアスコア関数を用いることで、完全な表現力と計算効率を実現し、n-aryおよびbinary関係的KBベンチマークの両方で最先端のベースラインを上回る性能を達成する。

ABSTRACT

N-ary relational knowledge bases (KBs) represent knowledge with binary and beyond-binary relational facts. Especially, in an n-ary relational fact, the involved entities play different roles, e.g., the ternary relation PlayCharacterIn consists of three roles, ACTOR, CHARACTER and MOVIE. However, existing approaches are often directly extended from binary relational KBs, i.e., knowledge graphs, while missing the important semantic property of role. Therefore, we start from the role level, and propose a Role-Aware Modeling, RAM for short, for facts in n-ary relational KBs. RAM explores a latent space that contains basis vectors, and represents roles by linear combinations of these vectors. This way encourages semantically related roles to have close representations. RAM further introduces a pattern matrix that captures the compatibility between the role and all involved entities. To this end, it presents a multilinear scoring function to measure the plausibility of a fact composed by certain roles and entities. We show that RAM achieves both theoretical full expressiveness and computation efficiency, which also provides an elegant generalization for approaches in binary relational KBs. Experiments demonstrate that RAM outperforms representative baselines on both n-ary and binary relational datasets.

研究の動機と目的

• 既存のn-ary関係的KB埋め込み手法におけるロールアウェアネスの欠如に取り組む。多くの手法が、binary KGモデルを単に拡張するが、意味的ロールを捉えていない。
• 意味的関連性の高いロール同士やロール-エンティティ適合性を無視する従来の手法の制限を克服する。
• 大規模KBにスケーリング可能な、完全に表現可能かつ計算効率の良い手法を開発する。
• binary関係的KBモデリングを一般化しつつ、n-ary事実におけるロール意味を保持する統一フレームワークを提供する。
• 可視化可能なロールアウェアパターン行列を通じて説明可能性を実現し、意味的関係や逆関係・関連関係を反映する。

提案手法

• 意味的に類似したロールが近い埋め込みを持つように促進するため、ロールを潜在空間における基本ベクトルの線形結合として表現する。
• 各ロールに対して、そのロールが関与するすべてのエンティティとの適合性をモデル化するロール固有のパターン行列を学習する。
• エンティティ埋め込み、ロール埋め込み、パターン行列を用いて、事実の妥当性を計算するマルチリニアスコア関数を設計する。
• 計算効率を維持しながらモデル化能力を向上させるために、埋め込みにクォータニオンベースの表現を用いる。
• クォータニオンベクトル上の内積とハミルトン積の組み合わせとしてスコア関数を定式化し、複雑な相互作用を捉える。
• ネガティブサンプリングと確率的最適化を用いて、正の事実の妥当性を最大化するように、エンド・トゥ・エンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 統一された埋め込みフレームワークは、表現力の保持を前提として、n-ary関係的事実における意味的ロールを効果的にモデル化できるか？
• RQ2 ロールアウェアモデリングは、ロールに無関心なベースラインと比較して、n-aryおよびbinary関係的KBの両方で性能を向上させるか？
• RQ3 ロール埋め込みとロール-エンティティパターン行列は、モデルの解釈可能性と一般化性能をどの程度向上させるか？
• RQ4 表現力の向上とロールレベルのモデリングが進んでも、本モデルは計算効率を維持できるか？
• RQ5 n-ary事実の導入は、スパarsなbinary関係的KBの学習にどのような影響を与えるか？

主な発見

• RAMは、n-aryおよびbinary関係的KBベンチマークデータセットの両方で最先端の性能を達成し、m-TransH、RAE、HypE、GETDを含む代表的なベースラインを上回る。
• モデルは完全な表現力を示し、対称的、逆関係、その他の複雑な関係的パターンを表現可能である。
• ロールアウェアパターン行列の可視化により、逆関係（例：子 vs 親）は対称的な行列パターンを示し、意味的に類似した関係（例：父親 vs 母親）は近い行列表現を持つことが明らかになった。
• binary関係的データがスパースな場合、RAMはロール間での情報共有により、binary事実のみで学習したRAM/bよりも優れた性能を示す。
• binaryデータが豊富（訓練セットの88％以上）な場合、n-ary事実に起因するノイズの影響によりRAM/bがRAMを上回る。これはデータバランスの重要性を裏付ける。
• アブレーションスタディの結果、ロール埋め込みとパターン行列の両方が、特にデータが少ない状況下で性能向上に顕著な寄与をしていることが確認された。