[論文レビュー] CoLAKE: Contextualized Language and Knowledge Embedding

Tianxiang Sun, Yunfan Shao+5 more|arXiv (Cornell University)|Oct 1, 2020

Topic Modeling参考文献 40被引用数 20

ひとこと要約

CoLAKEは、言語と知識を統合したワード・ナレッジグラフ（WKグラフ）を用いて、文脈的に適応する言語表現とナレッジ表現を統合的に学習するフレームワークを提案する。マスクされた言葉、エンティティ、関係を同時に予測するように拡張されたマスクド言語モデリング（MLM）目的関数を採用し、知識集約型NLPタスクおよび新しいワード・ナレッジグラフ補完タスクにおいて最先端の性能を達成。従来モデルと比較して優れた誘導的バイアスと構造認識能力を示している。

ABSTRACT

With the emerging branch of incorporating factual knowledge into pre-trained language models such as BERT, most existing models consider shallow, static, and separately pre-trained entity embeddings, which limits the performance gains of these models. Few works explore the potential of deep contextualized knowledge representation when injecting knowledge. In this paper, we propose the Contextualized Language and Knowledge Embedding (CoLAKE), which jointly learns contextualized representation for both language and knowledge with the extended MLM objective. Instead of injecting only entity embeddings, CoLAKE extracts the knowledge context of an entity from large-scale knowledge bases. To handle the heterogeneity of knowledge context and language context, we integrate them in a unified data structure, word-knowledge graph (WK graph). CoLAKE is pre-trained on large-scale WK graphs with the modified Transformer encoder. We conduct experiments on knowledge-driven tasks, knowledge probing tasks, and language understanding tasks. Experimental results show that CoLAKE outperforms previous counterparts on most of the tasks. Besides, CoLAKE achieves surprisingly high performance on our synthetic task called word-knowledge graph completion, which shows the superiority of simultaneously contextualizing language and knowledge representation.

研究の動機と目的

• 既存の知識強化型言語モデルにおける静的かつ別個に事前学習されたエンティティ埋め込みの限界を解消すること。
• エンティティの周囲の事実知識サブグラフを統合することで、動的で文脈に適応したナレッジ表現を可能にすること。
• 異種の言語表現とナレッジ構造を統一的かつ一貫性のある入力形式に統合し、共同表現学習を可能にすること。
• 未知のエンティティへの一般化能力を評価し、ナレッジの構造的および意味的特徴を捉える能力を確保すること。
• 提案されたワード・ナレッジグラフが、知識集約型NLPアプリケーションの基盤としての可能性を検討すること。

提案手法

• 大規模な知識ベースから抽出した知識サブグラフと完全連結なワードグラフを統合したワード・ナレッジグラフ（WKグラフ）を構築する。
• テキスト内のエンティティの表記を用いて、それらのエンティティを中心とする知識サブグラフを検索し、WKグラフにマosaic化する。
• 異種のノード（語、エンティティ、関係）を処理できるように、アテンションメカニズムを変更したTransformerエンコーダーを採用する。
• マスクド言語モデリング（MLM）目的関数を拡張し、WKグラフ内の語、エンティティ、関係を同時にマスク・予測するようにする。
• 拡張されたMLM目的関数を用いて大規模なWKグラフ上でCoLAKEを事前学習し、言語表現とナレッジ表現の共同最適化を実現する。
• 隣接行列を用いてグラフ構造を符号化し、エンコーダー内でのメッセージパッシングの際に情報の流れをガイドする。

実験結果

リサーチクエスチョン

• RQ1 静的エンティティ埋め込みを用いるモデルと比較して、文脈的に適応する言語表現とナレッジ表現を共同で学習することは、知識集約型NLPタスクの性能向上に寄与するか？
• RQ2 個々のエンティティ埋め込みではなく、エンティティの周囲の動的ナレッジコンテキスト（サブグラフ）を活用することで、文脈理解がどの程度向上するか？
• RQ3 提案されたワード・ナレッジグラフ（WKグラフ）構造は、未知のエンティティへの誘導的一般化をどの程度サポートするか？
• RQ4 従来のナレッジ埋め込みモデルと比較して、CoLAKEは新しい合成タスク「ワード・ナレッジグラフ補完」でどの程度の性能を発揮するか？
• RQ5 言語表現とナレッジ表現の共同モデリングは、学習された埋め込みにおける構造的および意味的特徴の保持をどの程度向上させるか？

主な発見

• CoLAKEはGLUEベンチマークにおけるほとんどの知識駆動型および言語理解タスクで、従来の準文脈的共同モデルを上回る性能を示した。
• 推論設定（transductive setting）におけるワード・ナレッジグラフ補完タスクでは、平均逆順位（MRR）が82.48を達成し、TransE（67.30）、DistMult（60.56）、ComplEx（61.09）、RotatE（70.90）を大きく上回った。
• 誘導設定（inductive setting）ではMRRが28.10を記録し、DKRLのMRR（8.18）を大きく上回り、未知のエンティティへの一般化能力が顕著に優れていることを示した。
• 合成タスクにおけるモデルの性能は、構造的グラフ情報と意味的テキストコンテキストの両方を有効に活用できることを裏付けた。
• CoLAKEは強い誘導的バイアスを示しており、固定または記述ベースの埋め込みに依存するモデルとは異なり、周辺情報に基づいてエンティティ表現を生成する。
• 結果から、WKグラフは構造を意識した強力な表現であり、知識集約型NLPアプリケーションにおける効果的な転移学習と一般化を可能にする可能性を示している。