[論文レビュー] DeepType: Multilingual Entity Linking by Neural Type System Evolution

Jonathan Raiman, Olivier Raiman|arXiv (Cornell University)|Feb 3, 2018

Topic Modeling被引用数 72

ひとこと要約

DeepType はオントロジーからニューラル型システムを共同設計し、それをニューラルエンティティリンクモデルの制約に用いることで、新しいエンティティの再学習なしにほぼ人間と同等の曖昧性解消精度と多言語間転移を実現する。

ABSTRACT

The wealth of structured (e.g. Wikidata) and unstructured data about the world available today presents an incredible opportunity for tomorrow's Artificial Intelligence. So far, integration of these two different modalities is a difficult process, involving many decisions concerning how best to represent the information so that it will be captured or useful, and hand-labeling large amounts of data. DeepType overcomes this challenge by explicitly integrating symbolic information into the reasoning process of a neural network with a type system. First we construct a type system, and second, we use it to constrain the outputs of a neural network to respect the symbolic structure. We achieve this by reformulating the design problem into a mixed integer problem: create a type system and subsequently train a neural network with it. In this reformulation discrete variables select which parent-child relations from an ontology are types within the type system, while continuous variables control a classifier fit to the type system. The original problem cannot be solved exactly, so we propose a 2-step algorithm: 1) heuristic search or stochastic optimization over discrete variables that define a type system informed by an Oracle and a Learnability heuristic, 2) gradient descent to fit classifier parameters. We apply DeepType to the problem of Entity Linking on three standard datasets (i.e. WikiDisamb30, CoNLL (YAGO), TAC KBP 2010) and find that it outperforms all existing solutions by a wide margin, including approaches that rely on a human-designed type system or recent deep learning-based entity embeddings, while explicitly using symbolic information lets it integrate new entities without retraining.

研究の動機と目的

• 自動設計された型システムを介して、エンティティリンク（EL）のためのシンボリック知識をニューラル推論に統合する。
• オントロジーから派生した型軸を用いて出力を制約することで、ELの曖昧性解消の複雑さを低減し精度を向上させる。
• 学習表現の多言語・クロスリンガル転送を示し、NER転送への影響を評価する。
• 標準的なELデータセット（WikiDisamb30、CoNLL-YAGO、TAC KBP 2010）において、機械設計の型システムを人間設計のベースラインと比較する。
• DeepType の事前学習が下流のNERタスクを補助するか、またバイリンガル訓練が多言語性能に利益をもたらすかを評価する。

提案手法

• 型システム設計を、離散変数がオントロジー由来の型軸を選択し、連続変数が型システムに適合する分類器を学習させる混合整数問題として再定式化する。
• 2段階の最適化を用いる: (i) OracleとLearnabilityヒューリスティックを用いた型システムの離散最適化で学習性と曖昧性解消力を推定、(ii) 型分類器とエンティティ予測子の訓練には勾配降下法を用いる。
• Type Axis をオントロジー上のルート-エッジペアとして定義し、確率的スコアリング式を介して型メンバーシップを尊重するようエンティティ予測を制約する。
• Oracleの曖昧性解消力、Learnability、より大きな型システムサイズに対するペナルティを結合した目的関数 J(A) を計算し、軸選択を導く。
• 多言語テキスト上でType Classifier（双方向LSTM）を訓練し、トークンの型ラベルを予測してクロスリンガル監視を可能にする。
• 推論時には型ベースの信念と基本のエンティティリンクスコアを組み合わせて候補エンティティをランク付けし、型確率のソフト結合と LinkCount のベースラインを用いる。

実験結果

リサーチクエスチョン

• RQ1 自動設計されたニューラル型システムは、人間設計の型システムを超えるエンティティリンクの改善をもたらすか？
• RQ2 機械発見の型システムは、ELのために言語間（英語、フランス語、ドイツ語、スペイン語）で一般化するか？
• RQ3 象徴的な型制約を取り入れることは、曖昧性解消の複雑さを O(N^2) から O(N) に削減し、再学習なしで新しいエンティティを追加可能にするか？
• RQ4 DeepType の型情報を活用した表現はNERや他の下流タスクへ転送可能か？
• RQ5 さまざまな探索手法（Beam、Greedy、GA、CEM）は、効果的な型システムの発見にどのように比較されるか？

主な発見

• DeepType は、WikiDisamb30、CoNLL（YAGO）、および TAC KBP 2010 において、マルチリンガル設定全体で従来の EL 手法を上回る。
• Oracleベースの曖昧性解消は CoNLL（YAGO）で 99.0%、TAC KBP 2010 で 98.6% に達し、型予測の改善と相まってほぼ解決に近い潜在性を示唆する。
• Machines-designed type systems outperform human-designed systems on WikiDisamb30, CoNLL (YAGO), and TAC KBP 2010 across several search methods.
• 英語-フランス語の二言語訓練で学習した型システムは、フランス語、ドイツ語、スペイン語へ劣化なく一般化し、二言語訓練は有益であり得る。
• Pre-training for NER with DeepType yields improved F1 and even state-of-the-art on OntoNotes dev, showing cross-domain transfer benefits.
• The approach reduces EL complexity to O(N) and enables integrating new entities without retraining.