[論文レビュー] CoKE: Contextualized Knowledge Graph Embedding

Quan Wang, Pingping Huang+7 more|arXiv (Cornell University)|Nov 6, 2019

Advanced Graph Neural Networks参考文献 42被引用数 69

ひとこと要約

CoKEは、トランスフォーマーを用いてグラフのエッジとパスをエンコードすることで、KGのエンティティとリレーションに対する動的で文脈依存の埋め込みを学習し、リンク予測とパス問合せ回答で最先端の成果を達成します。

ABSTRACT

Knowledge graph embedding, which projects symbolic entities and relations into continuous vector spaces, is gaining increasing attention. Previous methods allow a single static embedding for each entity or relation, ignoring their intrinsic contextual nature, i.e., entities and relations may appear in different graph contexts, and accordingly, exhibit different properties. This work presents Contextualized Knowledge Graph Embedding (CoKE), a novel paradigm that takes into account such contextual nature, and learns dynamic, flexible, and fully contextualized entity and relation embeddings. Two types of graph contexts are studied: edges and paths, both formulated as sequences of entities and relations. CoKE takes a sequence as input and uses a Transformer encoder to obtain contextualized representations. These representations are hence naturally adaptive to the input, capturing contextual meanings of entities and relations therein. Evaluation on a wide variety of public benchmarks verifies the superiority of CoKE in link prediction and path query answering. It performs consistently better than, or at least equally well as current state-of-the-art in almost every case, in particular offering an absolute improvement of 21.0% in H@10 on path query answering. Our code is available at \url{https://github.com/PaddlePaddle/Research/tree/master/KG/CoKE}.

研究の動機と目的

• KGエンティティとリレーションの文脈的意味を静的埋め込みを超えてモデル化する動機づけ。
• エッジとパスを入力として扱う文脈化されたKG埋め込みパラダイムを導入する。
• Transformerエンコーダを活用して、KGコンポーネントの文脈依存表現を取得する。
• 入力文脈に適応可能な動的埋め込みを学習するために、マスクされたエンティティ予測で訓練する。
• リンク予測とパス問合せ回答のベンチマークで最先端の性能を示す。

提案手法

• グラフコンテキストをシーケンスとして表現する（エッジ s->r->o またはパス s->r1->...->rk->o）。
• 一連のTransformerブロックのスタックでシーケンスをエンコードし、各要素の文脈化埋め込みを得る。
• 最初の要素または最後の要素をマスクして、欠損エンティティの予測タスクを作成する。
• 予測をエンティティ確率にマッピングするための共有エンティティ埋め込み行列を使用する。
• 欠損エンティティを予測するためにクロスエントロピー損失とラベルスムージングを用いて訓練する。
• 標準的なリンク予測およびパス問合せ回答のプロトコルで評価し、フィルタリングされたランキングを用いる。

実験結果

リサーチクエスチョン

• RQ1 文脈化された、シーケンスベースのKG埋め込みはリンク予測とパス問合せ回答で静的埋め込みを上回るか。
• RQ2 エッジベースおよびパスベースの文脈は、エンティティとリレーションの動的表現をどのように可能にするか。
• RQ3 Transformerベースの文脈化埋め込みは、KG完成タスクに対してパラメータ効率が良いか。

主な発見

• CoKEは、リンク予測の標準ベンチマーク（FB15k, FB15k-237, WN18, WN18RR）で競争力のある、または最先端に近い結果を示す。
• FB15kおよびFB15k-237では、CoKEは強力なベースラインより高いMRRとH@kを達成する。例として、FB15kでMRR約0.855、FB15k-237でMRR約0.364など。
• WN18RRでは、CoKEはベースラインと同等または上回るMRR約0.484、H@10約0.553を示し、WN18ではMRR約0.952の強い性能を維持する。
• パス問合せ回答では、CoKEはFreebaseで従来のベスト手法に対してH@10で最大で絶対値で21.0%の改善をもたらし、WordNetでも substantial gainsを達成する。
• CoKEは比較可能なモデルと比較してパラメータ効率を維持しつつ、比較的小さな埋め込みサイズ（D=256）を用いて強力な成果を上げる。