[論文レビュー] Commonsense Knowledge Graph Reasoning by Selection or Generation? Why?

Cunxiang Wang, Jinhang Wu+2 more|arXiv (Cornell University)|Aug 13, 2020

Topic Modeling参考文献 15被引用数 7

ひとこと要約

この論文は、共通知識知識グラフ推論（CKGR）における生成手法と選択手法を比較し、より評価可能で安定した出力とより少ない幻覚的エンティティを実現するため、選択手法が優れていると判明した。本研究では、ニューラルテキストエンコーダー（CNN/BiLSTM）とTransEおよびTuckERを統合した新規のテキストエンコーダー拡張KGEモデル（TEE）を提案する。このモデルは未学習エンティティと豊富なテキスト入力を処理でき、ConceptNet-100kおよびATOMICにおいて最先端の性能を達成した。

ABSTRACT

Commonsense knowledge graph reasoning(CKGR) is the task of predicting a missing entity given one existing and the relation in a commonsense knowledge graph (CKG). Existing methods can be classified into two categories generation method and selection method. Each method has its own advantage. We theoretically and empirically compare the two methods, finding the selection method is more suitable than the generation method in CKGR. Given the observation, we further combine the structure of neural Text Encoder and Knowledge Graph Embedding models to solve the selection method's two problems, achieving competitive results. We provide a basic framework and baseline model for subsequent CKGR tasks by selection methods.

研究の動機と目的

• 共通知識知識グラフ推論（CKGR）における生成手法と選択手法を、実証的および理論的に比較すること。
• 選択手法が、豊富なテキスト入力とテストデータにおける未学習エンティティを処理する際の限界を克服すること。
• ニューラルテキストエンコーダーと知識グラフ埋め込み（KGE）モデルを統合する包括的フレームワークを構築すること。
• 選択ベースのCKGRモデルが、実世界の応用において重要な課題であるテストセットにおける未学習エンティティを処理できるようにすること。
• 今後の選択ベースCKGR研究のための新しいベースラインフレームワークを確立すること、特に未学習エンティティのサポートを含む。

提案手法

• ニューラルテキストエンコーダー（CNN, BiLSTM）を標準KGEモデル（TransE, TuckER）と統合し、エンティティのテキストシーケンスを埋め込むテキストエンコーダー拡張KGE（TEE）モデルを提案する。
• 訓練時に現在のエンティティのみを考慮する修正された訓練目的を採用し、部分グラフサンプリングなしに完全なグラフ上でエンドツーエンドの訓練を可能にする。
• ソースおよびターゲットエンティティをテキストシーケンスとして、ワードレベルの埋め込みで符号化することで、共有された意味的表現を介して未学習エンティティへの一般化を可能にする。
• 1つの正例と1つの負例エンティティを1つの訓練ケースに適用する対照学習目的を採用し、正しいと誤ったエンティティの区別を強化する。
• テキストエンコーダーの出力をKGEスコア関数に統合し、構造的および意味的情報の両方を基にしたエンティティランク付けを可能にする。
• 早期停止と学習率スケジューリングを用いて、特に短いテキストデータセットにおいて過学習を防ぎ、訓練の効率を最適化する。

実験結果

リサーチクエスチョン

• RQ1 生成手法は真に新しい意味的エンティティを生成できるのだろうか、それとも既存のものを再表現しているにすぎないのか？
• RQ2 なぜ選択手法が共通知識知識グラフ推論において生成手法よりも適しているのか？
• RQ3 選択ベースのアプローチは、標準KGEモデルの主な限界であるテストデータにおける未学習エンティティを効果的に処理できるのか？
• RQ4 ニューラルテキストエンコーダーを統合することで、KGEモデルのCKGRタスクにおける性能がどのように向上するのか？
• RQ5 異なるテキストエンコーダー（CNN対BiLSTM）が、エンティティ長が異なるデータセットにおいて性能に与える影響は何か？

主な発見

• 生成手法は真に新しい意味的エンティティを生成しない。COMETにおける生成エンティティの96.4％は訓練データに直接存在し、残りの3.58％でさえ意味的Noveltyがなく、意味的革新性に欠ける。
• 選択手法は再現性、評価の容易さ、有害または誤った出力を回避する点で生成手法を上回る。
• 提案されたTEEモデルは、ConceptNet-100kおよびATOMICの両方で標準KGEベースラインを顕著に上回り、特に未学習エンティティの影響でベースラインが失敗するATOMICでは顕著な優位性を示す。
• ATOMICでは、テストエンティティの86％の語が訓練セットに存在しており、これはTEEモデルが未学習エンティティに対しても一般化できる要因となっている。
• BiLSTMはATOMIC（エンティティテキストの平均長：4.41語）でCNN（1.72語）を上回る性能を示すが、短いテキストのConceptNet-100kではCNNがBiLSTMを上回る。これは、モデル選択が入力長に依存することを示唆している。
• ConceptNet-100kでは、TEE（CNN+TuckER）がすべての指標でベースラインTuckERを上回るが、TEE（BiLSTM+TuckER）は性能が劣り、短いエンティティでは過学習の兆候が見られる。