[論文レビュー] Deep Neural Network Based Relation Extraction: An Overview

Hailin Wang, Ke Qin+3 more|arXiv (Cornell University)|Jan 6, 2021

Topic Modeling参考文献 80被引用数 11

ひとこと要約

この論文は、深層ニューラルネットワーク（DNN）を用いた関係抽出（RE）に関する包括的なサーベイを提供しており、教師あり学習および遠隔教師あり学習の手法をカバーしている。CNN、RNN、GNNなどのDNNアーキテクチャが文の表現や特徴抽出に用いられることがレビューされ、遠隔教師あり学習におけるノイズ、語彙外の関係、文間推論といった課題が議論され、将来の研究方向として転移学習、関係推論、統一された関係フレームワークが提案されている。

ABSTRACT

Knowledge is a formal way of understanding the world, providing a human-level cognition and intelligence for the next-generation artificial intelligence (AI). One of the representations of knowledge is semantic relations between entities. An effective way to automatically acquire this important knowledge, called Relation Extraction (RE), a sub-task of information extraction, plays a vital role in Natural Language Processing (NLP). Its purpose is to identify semantic relations between entities from natural language text. To date, there are several studies for RE in previous works, which have documented these techniques based on Deep Neural Networks (DNNs) become a prevailing technique in this research. Especially, the supervised and distant supervision methods based on DNNs are the most popular and reliable solutions for RE. This article 1) introduces some general concepts, and further 2) gives a comprehensive overview of DNNs in RE from two points of view: supervised RE, which attempts to improve the standard RE systems, and distant supervision RE, which adopts DNNs to design sentence encoder and de-noise method. We further 3) cover some novel methods and recent trends as well as discuss possible future research directions for this task.

研究の動機と目的

• 深層ニューラルネットワークに基づく関係抽出（RE）技術について、体系的かつ最新の概要を提供すること。
• 性能、スケーラビリティ、ドメインへの適用可能性の観点から、教師あり学習と遠隔教師あり学習の手法を比較すること。
• 現在のREシステムにおける主な課題、特に遠隔教師あり学習におけるノイズ、ドメインへの適応性の制限、文間推論の欠如を特定すること。
• 一般化性能の向上を目的とした転移学習、関係推論、統一された関係フレームワークといった将来の研究方向を探ること。
• 動的知識ベースや語彙外の関係を処理する際の、既存REモデルの限界を解消すること。

提案手法

• DNNベースのREを教師あり学習と遠隔教師あり学習の2つの主要なパラダイムに分類し、それぞれが異なるデータ生成および学習戦略をとることを明確にする。
• REにおける文の表現と特徴抽出に用いられる主なニューラルネットワークアーキテクチャ（CNN、RNN、LSTM、GRU、GNN）をレビューする。
• エンティティペア周辺の文法的および構造的情報を捉えるために、単語埋め込みと位置埋め込みの役割を分析する。
• 遠隔教師あり学習における文エンコーダ設計とノイズ除去技術の役割を検討し、自動KBアライメントに起因するラベルノイズを低減する。
• 外部知識（例：知識グラフ、エンティティの説明）の統合がREにおける推論力と一般化性能の向上にどのように寄与するかを評価する。
• 文間関係抽出のフレームワークを提案し、現在のシステムが文内モデルに限られているという制限を克服する。

Figure 1: The General Framework of DNN-based RE.

実験結果

リサーチクエスチョン

• RQ1 教師あり学習と遠隔教師あり学習の手法は、DNNベースのREにおいて、性能、スケーラビリティ、ノイズ処理の観点でどのように異なるか？
• RQ2 REタスクにおける文の表現を向上させるために、どのようなアーキテクチャ的要素と埋め込み戦略が有効か？
• RQ3 DNNベースのノイズ除去技術を用いて、遠隔教師あり学習におけるノイズを効果的に低減する方法は何か？
• RQ4 転移学習と外部知識は、REモデルのドメイン適応性と一般化性能の向上にどのように寄与できるか？
• RQ5 長距離依存関係を1文を超えて捉えるために、文間関係抽出はどのように効果的にモデル化できるか？

主な発見

• 教師あり学習は、小規模でクリーンなデータセットでは高い精度を達成するが、アノテーションコストとドメイン特異性の制限がある。
• 遠隔教師あり学習は、人為的ラベルの最小限の必要で大規模な学習が可能であるが、自動KBアライメントに起因する高いノイズを抱える。
• GNNとアテンションベースのモデルは、関係分類のための文法的および従属構造を効果的に捉える強力な性能を示している。
• 位置埋め込みの使用は、文におけるエンティティの相対的位置を符号化することで、性能向上に顕著に寄与している。
• 現在のモデルは、データセット間での関係インベントリの不一致に起因し、語彙外の関係を処理できていない。
• 文間関係抽出はまだ十分に研究されていないが、最近のアプローチは文書レベルの文脈を活用して関係検出を向上させる可能性を示している。

Figure 2: Example of relative distance.