[論文レビュー] OPIEC: An Open Information Extraction Corpus

Kiril Gashteovski, Sebastian Wanner+3 more|arXiv (Cornell University)|Apr 28, 2019

Natural Language Processing Techniques参考文献 32被引用数 8

ひとこと要約

この論文は、MinIEおよびStanford CoreNLPを用いて英語Wikipediaから抽出した、これまでで最大の公開可能オープン情報抽出（OIE）コーパス、OPIECを紹介する。OPIECは3億4000万件以上の三項組みを含み、信頼度スコア、出典、構文的・意味的アノテーション（例：空間的・時間的）、Wikipediaへのリンクを含む豊富なメタデータを備えている。主な貢献は、OIEが、DBpedia や YAGO などの既存の知識ベースとは補完的である、特定の、多義的で、時間的・空間的にアノテートされた事実を、顕著な量だけ捉えていることの実証であり、OIEの日付事実のうち5.6％しかYAGOの日付事実と重複していないことからも明らかである。

ABSTRACT

Open information extraction (OIE) systems extract relations and their arguments from natural language text in an unsupervised manner. The resulting extractions are a valuable resource for downstream tasks such as knowledge base construction, open question answering, or event schema induction. In this paper, we release, describe, and analyze an OIE corpus called OPIEC, which was extracted from the text of English Wikipedia. OPIEC complements the available OIE resources: It is the largest OIE corpus publicly available to date (over 340M triples) and contains valuable metadata such as provenance information, confidence scores, linguistic annotations, and semantic annotations including spatial and temporal information. We analyze the OPIEC corpus by comparing its content with knowledge bases such as DBpedia or YAGO, which are also based on Wikipedia. We found that most of the facts between entities present in OPIEC cannot be found in DBpedia and/or YAGO, that OIE facts often differ in the level of specificity compared to knowledge base facts, and that OIE open relations are generally highly polysemous. We believe that the OPIEC corpus is a valuable resource for future research on automated knowledge base construction.

研究の動機と目的

• 英語Wikipediaから抽出した、これまでで最大の公開可能OIEコーパスの作成とリリース。
• 各OIE三項組みに、信頼度スコア、出典、構文的および意味的アノテーション（例：時間、空間、モダリティ）およびエンティティリンクを含む、豊富な構造化メタデータを提供すること。
• OIE抽出事実とDBpedia や YAGO などの知識ベースとの重複度と補完性を分析し、事実のカバレッジ、特異性、多義性に焦点を当てる。
• OPIEC-Cleanを導入する。これは1億400万件の三項組みからなる、概念レベルの引数（固有表現またはWikipediaリンク済みの概念）のみを含む、洗練されたサブコーパスであり、下流タスクにおける利用可能性を向上させる。
• OIEコーパスが、特に時間的および空間的アノテーションにおいて、従来の知識ベースに捉えられていない、大量で高精度の知識を含んでいることを実証すること。

提案手法

• OPIECは、英語Wikipediaの全文にMinIE OIEシステムとStanford CoreNLPパイプラインを適用することで構築された。
• 各OIE三項組みは、出典（元の文、位置）、構文的アノテーション（品詞、レマ、依存構文解析）、意味的アノテーション（極性、モダリティ、帰属、空間、時間）、およびエンティティレベルのメタデータ（NERタイプ、Wikipediaリンク）で拡張されている。
• 各抽出に対して、モデルの内部的な信頼度推定に基づいて信頼度スコアが割り当てられた。
• OPIEC-Cleanサブコーパスは、主語および目的語がすべて固有表現、Wikipediaページタイトル、または直接Wikipediaページにリンクされている場合に限って、三項組みをフィルタリングすることで作成された。
• 知識ベースとの比較のため、エンティティの曇りを解消した580万件の三項組みを含むOPIEC-Linkedサブコーパスが使用され、KBヒットは楽観的アライメント（関係および日付マッチングの正確性を無視）により特定された。
• 100件の非アライメント三項組みの手動評価では、60％が正しく抽出されていた。信頼度スコアが0.5より高い高信頼度三項組みでは、この数値は80％に上昇し、コーパスの品質が妥当であることが裏付けられた。

実験結果

リサーチクエスチョン

• RQ1 OIEコーパスに含まれる知識の何パーセントが、DBpedia や YAGO などの既存の知識ベースと重複しているか？
• RQ2 OIE抽出事実が、構造化知識ベースの事実と比べて、特異性、一般性、多義性の点でどの程度異なるか？
• RQ3 OIEが捉えている空間的および時間的情報のうち、YAGO などのKBに欠落している部分はどの程度か？
• RQ4 OIEは、KBに存在しない事実をどの程度効果的に捉えているか。また、その抽出品質はいかがなっているか？
• RQ5 OIEコーパスは、自動知識ベース構築のための価値ある補完的リソースとして機能できるか？

主な発見

• OPIECは3億4000万件以上の三項組みを含み、これまでで最大の公開可能OIEコーパスである。
• OIEの日付事実のうち、YAGOの日付事実と一致するものはわずか5.6％（645,525件）にとどまり、従来のKBに顕著な時間的情報の欠落があることが示された。
• YAGOの空間的・時間的メタ事実に関しては、OPIEC-Linkedの三項組みのうち13,203件にKBヒットがあったが、そのうち時間的アノテーションがなされたのは2,613件、空間的アノテーションがなされたのは2,629件にとどまり、重複度が限定的であることが明らかになった。
• OPIEC-Linkedの非アライメント三項組みの半数以上が、OPIEC-Cleanの上位100件の頻出関係を含んでおり、OIEが広範かつ特徴的な事実カバレッジを捉えていることが示唆された。
• 手動評価では、ランダムに抽出された非アライメント三項組みの60％が正しく抽出されていた。信頼度スコアが0.5より高い高信頼度三項組みでは、この数値は80％に上昇し、曖昧さが存在しても信号の品質が非常に高いことが示された。
• 本研究は、OIEコーパスが、特に時間的および空間的アノテーションにおいて、DBpedia や YAGO とは補完的であり、しばしばそれらよりも特異性が高い知識を豊富に含んでいることを確認した。