[論文レビュー] KGCleaner : Identifying and Correcting Errors Produced by Information Extraction Systems

Ankur Padia, Francis Ferraro+1 more|arXiv (Cornell University)|Aug 15, 2018

Topic Modeling参考文献 14被引用数 4

ひとこと要約

KGCleaner は、情報抽出システムによって抽出された知識ベースの事実における誤りを同時に同定および修正するマルチタスクフレームワークである。浅いニューラルネットワークを用いて信頼性を分類し、誤った関係を修復する。Wikidata では F1 スコアで 30 ポints の向上を達成し、データセットの特性に応じて修復性能が 2 倍以上向上した。

ABSTRACT

KG Cleaner is a framework to identify and correct errors in data produced and delivered by an information extraction system. These tasks have been understudied and KG Cleaner is the first to address both. We introduce a multi-task model that jointly learns to predict if an extracted relation is credible and repair it if not. We evaluate our approach and other models as instance of our framework on two collections: a Wikidata corpus of nearly 700K facts and 5M fact-relevant sentences and a collection of 30K facts from the 2015 TAC Knowledge Base Population task. For credibility classification, we find that parameter efficient, simple shallow neural networks can achieve an absolute performance gain of 30 F1 points on Wikidata and comparable performance on TAC. For the repair task, significant performance (at more than twice) gain can be obtained depending on the nature of the dataset and the models.

研究の動機と目的

• 情報抽出システムからの知識ベース構築における誤り同定および修正という未だあまり検討されていない問題に対処すること。
• 信頼性予測と関係修復を同時に学ぶ統合フレームワークの開発。
• Wikidata や 2015 年 TAC KBP ベンチマークを含む多様で現実世界のデータセット上でフレームワークを評価すること。
• 単純でパラメータ効率の良いモデルが、信頼性分類において複雑なベースラインを上回ることを示すこと。
• 異なるデータ分布やモデルタイプにおける修復性能の向上を定量化すること。

提案手法

• フレームワークは、信頼性分類と関係修復のタスク間で表現を共有するマルチタスク学習アーキテクチャを採用している。
• 抽出された関係が信頼できるかどうかを予測するために、浅くパラメータ効率の良いニューラルネットワークを用いている。
• 修復の際には、信頼性が低い場合に注意メカニズムを用いたシーケンス・トゥ・シーケンス生成により修正された関係三項組を生成する。
• モデルは 2 つのデータセットで同時に訓練される：約 700K の事実と 500 万件の関連文を含む Wikidata コーパス、および 30K の事実を含む TAC KBP データセット。
• 両方のタスク、すなわち信頼性予測と修復生成の目的関数をエンド・ツー・エンドで最適化する。
• 文の文脈的特徴を活用することで、信頼性評価と修復の正確性の両方を向上させている。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習フレームワークは、抽出された知識ベース事実における誤りを効果的に同定および修正できるか？
• RQ2 知識ベース事実の信頼性分類において、浅いニューラルネットワークはより複雑なモデルと比べてどうか？
• RQ3 信頼性と修復の共同学習が全体のパフォーマンスにどの程度向上をもたらすか？
• RQ4 パフォーマンスは異なるデータセットや誤りタイプによってどのように変化するか？
• RQ5 モデルの複雑さとパラメータ効率は、信頼性および修復タスクにどのような影響を与えるか？

主な発見

• 浅いニューラルネットワークは、ベースラインモデルと比較して、Wikidata データセットにおける信頼性分類で絶対的な F1 スコア 30 ポイントの向上を達成した。
• TAC KBP データセットでは、より複雑なアーキテクチャと同等の性能を達成し、データセット間での頑健性を示した。
• 修復タスクでは、データセットやモデル構成に応じて、性能向上が 2 倍以上にのぼった。
• 信頼性と修復の共同学習により、特に複雑またはノイズの多いデータ分布において顕著な向上が得られた。
• フレームワークは、Wikidata や TAC KBP を含む多様な知識ベース構築タスクにおいて優れた汎化性能を示した。
• パラメータ効率を維持しつつ性能を損なわず、実世界の展開に適したスケーラブルで実用的なアプローチを実現した。