[論文レビュー] Open-World Knowledge Graph Completion

Baoxu Shi, Tim Weninger|arXiv (Cornell University)|Nov 9, 2017

Topic Modeling参考文献 26被引用数 14

ひとこと要約

この論文では、関係依存的コンテンツマスキングと完全畳み込みニューラルネットワークを用いて、エンティティの記述から関連するテキスト特徴を抽出する、新しいオープンワールド知識グラフ補完モデルConMaskを紹介する。これにより、未学習または疎結合なエンティティの欠落した関係を正確に予測できる。ConMaskは、DBPedia50k や DBPedia500k といった大規模データセットにおいて、オープンワールドおよびクローズドワールドKGCベンチマークで既存モデルを上回り、一般化性能と頑健性に優れていることが示された。

ABSTRACT

Knowledge Graphs (KGs) have been applied to many tasks including Web search, link prediction, recommendation, natural language processing, and entity linking. However, most KGs are far from complete and are growing at a rapid pace. To address these problems, Knowledge Graph Completion (KGC) has been proposed to improve KGs by filling in its missing connections. Unlike existing methods which hold a closed-world assumption, i.e., where KGs are fixed and new entities cannot be easily added, in the present work we relax this assumption and propose a new open-world KGC task. As a first attempt to solve this task we introduce an open-world KGC model called ConMask. This model learns embeddings of the entity's name and parts of its text-description to connect unseen entities to the KG. To mitigate the presence of noisy text descriptions, ConMask uses a relationship-dependent content masking to extract relevant snippets and then trains a fully convolutional neural network to fuse the extracted snippets with entities in the KG. Experiments on large data sets, both old and new, show that ConMask performs well in the open-world KGC task and even outperforms existing KGC models on the standard closed-world KGC task.

研究の動機と目的

• 既存のクローズドワールド知識グラフ補完（KGC）モデルが、未学習または接続が乏しいエンティティの関係を予測できないという限界を解消すること。
• オープンワールドKGCタスクを導入することでクローズドワールド仮定を緩和し、元の知識グラフに存在しない新しいエンティティを含む三項の予測を可能にすること。
• 低接続性または未学習のエンティティにおいて、トポロジカル特徴の代わりにテキスト記述を効果的に活用するモデルを開発すること。
• エンティティ記述からの意味的情報を統合することで、スパarsなかつ進化し続ける知識グラフにおけるKGC性能を向上させること。

提案手法

• ConMaskは、ターゲットとなる関係に応じて関係依存的コンテンツマスキングを用い、エンティティ記述から関連するテキストスニペットを抽出する。
• 完全畳み込みニューラルネットワーク（FCNN）を用いて、マスクされたテキストスニペットとエンティティ埋め込みを統合し、関係予測を行う。
• エンティティ記述の意味的平均化とFCNNからの学習済み表現を組み合わせることで、文脈に適した埋め込みを生成する。
• トポロジカル構造の代理としてテキスト特徴を活用することで、接続が少ないまたは存在しないエンティティに対しても予測が可能になる。
• 正しくタイルエンティティを予測するよう最適化するために、マージンベースのランク学習損失を用いてエンドツーエンドで学習する。
• ConMaskは、新たにリリースされたDBPedia50kおよびDBPedia500kデータセットも含め、オープンワールドおよびクローズドワールドの両設定で評価されている。

実験結果

リサーチクエスチョン

• RQ1 オープンワールド仮定のもとで、元の知識グラフに存在しないエンティティの欠落した関係をKGCモデルが効果的に予測できるか？
• RQ2 テキスト記述は、関係の予測においてトポロジカル接続性の欠如をどれほど補完できるか？
• RQ3 関係依存的コンテンツマスキングは、KGCにおけるテキスト特徴抽出の関連性と性能を向上させるか？
• RQ4 オープンワールドKGCに特化したモデルが、標準的なクローズドワールドKGCベンチマークでも競争力を持つことができるか？
• RQ5 大規模で現実世界の知識グラフにおいて、ConMaskは既存のKGCモデルと比較して平均順位（mean rank）およびMRRの観点でどの程度の性能を示すか？

主な発見

• ConMaskは、コンテンツ抽出なしのベースライン意味的平均化モデルと比較して、DBPedia50kおよびDBPedia500kデータセットの両方で平均順位性能を少なくとも60%向上させた。
• コンテンツ抽出による性能向上は、より大きなDBPedia500kデータセットにおいて顕著であり、高カバレッジ環境下でのテキスト特徴のスケーラビリティと有用性が示された。
• DBPedia50kデータセットでは、TransE や TransR といった標準的なクローズドワールドKGCモデルをConMaskが上回り、とくにスパースグラフの処理に優れた性能を発揮した。
• DBPedia500kデータセットでは、訓練不能のためTransRの結果が得られなかったが、ConMaskは競争力のある結果を達成しており、頑健性と効率性を示した。
• 複雑な関係（例：'notable work' や 'writer'）に対しても、正解エンティティがほとんどの場合トップ3内にランク付けされ、エンティティ名が記述に直接含まれない場合でも成功した。
• ConMaskは、関係と意味的に類似したエンティティ（例：'writer' 関係に対する 'writer'）を誤って上位にランク付けするという顕著な限界を示しており、これは将来的なフィルタリングが必要である。