[論文レビュー] Logician: A Unified End-to-End Neural Approach for Open-Domain Information Extraction

Mingming Sun, Xu Li+4 more|arXiv (Cornell University)|Apr 29, 2019

Topic Modeling参考文献 48被引用数 10

ひとこと要約

本稿では、SAOKEと呼ばれる新しい知識表現形式を用いて文を事実に変換する統合的でエンド・ツー・エンドのニューラルモデルであるLogicianを紹介する。48,248文の公開済み人間アノテート済みOIEデータセットで訓練されたLogicianは、アテンションおよびカバレッジ機構を用いて複数の事実を同時に最適化することで、最先端の手法を上回る性能を示し、多様なOIEタスクにおいて優れた性能を発揮している。

ABSTRACT

In this paper, we consider the problem of open information extraction (OIE) for extracting entity and relation level intermediate structures from sentences in open-domain. We focus on four types of valuable intermediate structures (Relation, Attribute, Description, and Concept), and propose a unified knowledge expression form, SAOKE, to express them. We publicly release a data set which contains more than forty thousand sentences and the corresponding facts in the SAOKE format labeled by crowd-sourcing. To our knowledge, this is the largest publicly available human labeled data set for open information extraction tasks. Using this labeled SAOKE data set, we train an end-to-end neural model using the sequenceto-sequence paradigm, called Logician, to transform sentences into facts. For each sentence, different to existing algorithms which generally focus on extracting each single fact without concerning other possible facts, Logician performs a global optimization over all possible involved facts, in which facts not only compete with each other to attract the attention of words, but also cooperate to share words. An experimental study on various types of open domain relation extraction tasks reveals the consistent superiority of Logician to other states-of-the-art algorithms. The experiments verify the reasonableness of SAOKE format, the valuableness of SAOKE data set, the effectiveness of the proposed Logician model, and the feasibility of the methodology to apply end-to-end learning paradigm on supervised data sets for the challenging tasks of open information extraction.

研究の動機と目的

• オープンドメインテキストにおける多様なエンティティ・関係中間構造を抽出する統合的で教師ありアプローチの欠如に対処すること。
• 関係、属性、記述、概念の4種類の事実を統合的に表現する知識表現形式（SAOKE）を設計すること。
• オープン情報抽出におけるSAOKE形式で記述された、公開可能な最大規模の人間アノテートデータセットを作成・公開すること。
• 文に含まれるすべての可能な事実に対してグローバル最適化を実行するエンド・ツー・エンドニューラルモデル、Logicianを開発すること。
• オープンドメイン情報抽出におけるエンド・ツー・エンドディープラーニングの実現可能性と有効性を示すこと。

提案手法

• 自然言語の語を用いて関係、属性、記述、概念の4種類の事実を統合的に表現するための、統合的フォーマットとしてのSAOKE（Symbolic Aided Open Knowledge Expression）を提案する。
• 中国語文48,248件とその対応するSAOKE事実を含む大規模で人間アノテート済みデータセットを構築し、研究目的で公開する。
• 入力文の語を正確に保持するための制限付きコピーメカニズムとカバレッジ機構を備えたアテンションに基づくシーケンス・ツー・シーケンスニューラルモデルであるLogicianを開発する。これにより、事実抽出の忠実性が向上し、抽出不足や過剰抽出が軽減される。
• デコード段階で、語のアテンションをめぐって事実同士が競合し、語を共有することで協調するという、グローバル最適化戦略を採用する。
• ヒューリスティックなパターン生成や自己教師学習によるノイズを避けるために、教師あり学習を用いてSAOKEデータセット上でLogicianをエンド・ツー・エンドで訓練する。
• 記号的要素を用いることで、事実における欠落または隠れた情報を正確に表現し、精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統合的知識表現形式は、オープンドメインテキストにおける多様なエンティティ・関係事実を効果的に表現できるか？
• RQ2 大規模で人間アノテート済みデータセット上で訓練されたエンド・ツー・エンドニューラルモデルは、従来のパターンベースや自己教師学習OIEシステムを上回る性能を示せるか？
• RQ3 文内に複数の事実をグローバルに最適化することで、個別事実抽出と比較して抽出精度が向上するか？
• RQ4 SAOKE形式は、構造的で自然言語ベースの知識を必要とする下流NLPタスクを支援するのに適しているか？
• RQ5 提案手法は、さまざまなタイプのオープンドメイン関係抽出タスクに一般化可能か？

主な発見

• Logicianは、さまざまなオープンドメイン関係抽出タスクにおいて、最先端のアルゴリズムを一貫して上回る優れた性能を示し、エンド・ツー・エンドアプローチの有効性を実証した。
• SAOKE形式は、関係、属性、記述、概念を含む多様な事実タイプを表現する上で妥当かつ効果的であることが示された。
• 人間アノテート済み48,248文の公開SAOKEデータセットは、教師ありOIE研究における最大規模のリソースである。
• Logicianに組み込まれた制限付きコピーメカニズムにより、入力文の語が正確に保持され、出力の忠実度が向上し、元のテキストへの適合性が高まった。
• カバレッジ機構により、抽出不足や過剰抽出が効果的に抑制され、よりバランスの取れた正確な事実生成が実現された。
• Logicianのグローバル最適化戦略により、事実同士が語を共有し、アテンションをめぐって競合することで、事実の共起性モデリングが向上し、全体的な抽出品質が向上した。