[論文レビュー] Natural Language Processing for Information Extraction

Sonit Singh|arXiv (Cornell University)|Jul 6, 2018

Topic Modeling参考文献 55被引用数 48

ひとこと要約

この論文はNLPにおける情報抽出（IE）を概観し、NER、NEL、CR、時相情報/イベント抽出、RE などのタスクと、最先端の手法、ツール、KB推論アプローチを詳述している。

ABSTRACT

With rise of digital age, there is an explosion of information in the form of news, articles, social media, and so on. Much of this data lies in unstructured form and manually managing and effectively making use of it is tedious, boring and labor intensive. This explosion of information and need for more sophisticated and efficient information handling tools gives rise to Information Extraction(IE) and Information Retrieval(IR) technology. Information Extraction systems takes natural language text as input and produces structured information specified by certain criteria, that is relevant to a particular application. Various sub-tasks of IE such as Named Entity Recognition, Coreference Resolution, Named Entity Linking, Relation Extraction, Knowledge Base reasoning forms the building blocks of various high end Natural Language Processing (NLP) tasks such as Machine Translation, Question-Answering System, Natural Language Understanding, Text Summarization and Digital Assistants like Siri, Cortana and Google Now. This paper introduces Information Extraction technology, its various sub-tasks, highlights state-of-the-art research in various IE subtasks, current challenges and future research directions.

研究の動機と目的

• 情報抽出と未構造化テキスト処理における役割を紹介する。
• IEのサブタスク（NER、NEL、CR、Temporal/EVENT抽出、RE、KB推論）とそれらの依存関係をレビューする。
• パターンベース、ガゼットベース、MLベース、深層学習アプローチを含むIEタスク全体の最先端手法を議論する。
• IEツール、共通知識タスク、知識ベースの構築と推論を、実世界のIE展開を可能にする技術として強調する。）

提案手法

• 情報抽出パイプラインと基本的前処理ステップ（トークン化、ステミング、POSタグ付け、構文解析）を説明する。
• IEアプローチをパターンマッチング、ガゼットベース、機械学習ベースの手法に分類し、CRF、SVM、MaxEnt、遠隔監視を含む。
• NER、NEL、CR、Temporal/EVENT抽出、REのサブタスクについて最先端の手法を示し、結合モデリングの傾向を議論する。
• 公開・商用・専門的 IEツールの広範なエコシステムと、それらが実世界のIE展開で果たす役割を列挙する。
• Freebase、DBpedia、YAGO、Google Knowledge Graph のようなKBにおけるIEの応用として、知識ベース構築、推論、リンク予測を説明する。

実験結果

リサーチクエスチョン

• RQ1 NLPパイプラインで主要なIEサブタスクは何で、それらはどう相互関連しているか？
• RQ2 各IEサブタスク（NER、NEL、CR、Temporal、RE）についての主流の最先端アプローチとその性能傾向は？
• RQ3 distant supervision とマルチインスタンス学習は relation extractionにおけるラベル付きデータの課題をどう緩和しているか？
• RQ4 IEの出力を知識ベースと推論と組み合わせて、QAや検索などの下流タスクをどのように強化できるか？
• RQ5 ドメイン横断・多言語対応を含むIEの進歩を促進してきたツールと共同タスクは何か？

主な発見

• IEはNER、NEL、CR、時間情報抽出、RE、KB推論を含む多くの相互に関連するサブタスクから成る。
• MLと深層学習は多くのIEサブタスクで支配的となっており、従来のルールベースやパターンベースのシステムを上回ることが多い。
• 遠隔監視とマルチインスタンス学習はREにおけるラベル付きデータの不足を解決する一方でノイズを導入し、適切なモデリング（例: MIML-RE）が必要になる。
• 公開・商用・専門的なIEツールの広範なエコシステムが実世界の展開と評価を可能にしている。
• サブタスク間の結合モデリング（例：CR-NER-NEL）とクロスドメイン/オープン多言語アプローチはIEの性能向上に有望を示している。