[論文レビュー] Inferring Missing Entity Type Instances for Knowledge Base Completion: New Dataset and Methods

Arvind Neelakantan, Ming‐Wei Chang|arXiv (Cornell University)|Apr 24, 2015

Topic Modeling参考文献 27被引用数 17

ひとこと要約

本稿では、新しい大規模データセットと、エンティティおよびタイプの両側からのネガティブサンプルを組み合わせたグローバルなトレーニング目的を用いて、知識ベースにおける欠落したエンティティタイプインスタンスを推論するための新規フレームワークを提案する。この手法は、タイプごとのランキング品質が向上し、線形モデルと低次元埋め込みが提案された評価指標において優れた性能を示しており、人的評価により予測の正しさが確認され、提出時時点でFreebaseにまだ存在しない17の事実が特定された。

ABSTRACT

Most of previous work in knowledge base (KB) completion has focused on the problem of relation extraction. In this work, we focus on the task of inferring missing entity type instances in a KB, a fundamental task for KB competition yet receives little attention. Due to the novelty of this task, we construct a large-scale dataset and design an automatic evaluation methodology. Our knowledge base completion method uses information within the existing KB and external information from Wikipedia. We show that individual methods trained with a global objective that considers unobserved cells from both the entity and the type side gives consistently higher quality predictions compared to baseline methods. We also perform manual evaluation on a small subset of the data to verify the effectiveness of our knowledge base completion methods and the correctness of our proposed automatic evaluation method.

研究の動機と目的

• 不完全な知識ベースにおける欠落したエンティティタイプインスタンスを推論するという未だ十分に検討されていない問題に取り組む。
• FreebaseとWikipediaの2つのスナップショットを用いて、現実的で大規模なデータセットを構築し、欠落した事実の予測評価を可能にする。
• タイプの分布のばらつきを考慮し、タイプ間でのランク付け評価を可能にする、グローバルな評価指標を設計する。
• エンティティ側（未観測のエンティティ-タイプペア）およびタイプ側（未観測のタイプ-エンティティペア）からのネガティブ例を組み合わせたグローバルなトレーニング目的を設計し、モデルの汎化性能を向上させる。
• 自動的および手動による評価を通じて、提案手法の有効性を検証する。特に、Freebaseにまだ存在しない事実の検出も含む。

提案手法

• 初期スナップショットからの事実を訓練データ、後続スナップショットで追加された事実をテストデータとして使用し、FreebaseとWikipediaの2つのスナップショットを用いてデータセットを構築する。
• タイプ間およびタイプ内でのパフォーマンスを統合し、タイプの不均衡な分布を考慮したグローバルな評価指標を用いる。
• エンティティ側（未観測のエンティティ-タイプペア）およびタイプ側（未観測のタイプ-エンティティペア）からのネガティブ例を統合したグローバルな目的関数を用いてモデルを訓練する。
• 線形分類器と低次元埋め込みモデルを適用し、エンティティの説明およびWikipediaコンテンツから得られる特徴を用いる。
• Adagrad最適化とマージンベースの損失関数を用い、グローバルな目的関数に従ってモデルを訓練し、ランキング品質を向上させる。
• 上位100件の予測について人的評価を実施し、自動評価と人的評価の相関を検証する。

実験結果

リサーチクエスチョン

• RQ1 エンティティおよびタイプの両側からのネガティブ例を組み合わせたグローバルなトレーニング目的は、ベースライン手法と比較して、欠落したエンティティタイプ予測の品質を向上させるか？
• RQ2 提案されたグローバルな評価指標は、多様で不均衡なタイプ分布を反映する上で、標準的なタイプベースの指標と比較してどのように優れているか？
• RQ3 モデルの性能はタイプごとのトレーニングインスタンス数にどの程度依存するか。アクティブラーニングはその影響を軽減できるか？
• RQ4 自動評価スコアと人的判断の間には、どの程度の相関があるか。特に、欠落した事実の特定において。
• RQ5 特にWikipediaからの特徴は、欠落したエンティティタイプの予測精度を顕著に向上させる要因となるか？

主な発見

• エンティティ側またはタイプ側のネガティブ例のみを用いて訓練したモデルと比較し、グローバルな目的関数で訓練したモデルは、タイプ内およびタイプ間の両方でより優れたランク付け品質を達成した。
• MAPおよびGAP指標において、埋め込みモデルが自然言語処理分野で広く用いられているにもかかわらず、線形分類器モデルが低次元埋め込みモデルを上回った。
• 自動評価指標は人的評価と強く相関しており、大規模なモデル評価において信頼性があることが検証された。
• 179件の人的評価予測のうち17件の事実は、提出時時点でまだFreebaseに存在しなかった。これは、本手法が現実世界の欠落知識を特定できることを確認した。
• タイプ頻度に著しい差が見られた：線形モデルは最も頻度の高い35タイプでは、最も頻度の低い35タイプよりも24.86%優れた性能を示した。これは、アクティブラーニングやブートストラップ法の導入の必要性を示唆している。
• キーワードマッチングのような浅い言語的特徴は、誤検出を引き起こす可能性がある。例えば、「movie」と「composer」といった語が誤ったタイプ予測を引き起こす事例が観察された。