[論文レビュー] A Survey of Deep Learning Methods for Relation Extraction

Shantanu Kumar|arXiv (Cornell University)|May 10, 2017

Topic Modeling参考文献 18被引用数 71

ひとこと要約

この論文は関係抽出の深層学習手法を概観し、監督付き CNN/PCNN モデル、 distant supervision を伴う multi-instance learning、ノイズのあるラベルの扱いを改善する注意機構を強調しています。データセット、アーキテクチャ、今後の方向性について論じます。

ABSTRACT

Relation Extraction is an important sub-task of Information Extraction which has the potential of employing deep learning (DL) models with the creation of large datasets using distant supervision. In this review, we compare the contributions and pitfalls of the various DL models that have been used for the task, to help guide the path ahead.

研究の動機と目的

• 関係抽出を主要な情報抽出 IE のサブタスクとして動機づけ、過度な特徴量設計を要さない DL ベースのアプローチの必要性を述べる。
• REにおける文のエンコーディングのための監督付き CNN/PCNN モデルをレビューする。
• トレーニングデータを拡張しノイズを扱うための distant supervision と multi-instance learning を検討する。
• 弱い監視下での抽出を改善するための注意機構やマルチラベル設定などの進歩を論じる。
• 文のエンコードと関係の活用のギャップと今後の方向性を明らかにする。

提案手法

• RE モデルの入力特徴として語彙埋め込みと位置埋込みを説明する。
• 最大プーリングと部分的プーリングを用いた文のエンコードのためのCNN/PCNNアーキテクチャを説明する。
• distant supervision のための multi-instance learning と、エンティティ対ごとの文の袋（bags）がどのように使われるかを論じる。
• 袋内の文の重みづけを行う選択的注意機構を提示する。
• 文書間で重なる関係を扱うためのマルチインスタンス・マルチラベル CNN を導入する。
• 関係パスとクラス結びつきが訓練と推論を改善することをまとめる。

実験結果

リサーチクエスチョン

• RQ1 関係抽出における文のエンコードに有効な DL アーキテクチャは何か？
• RQ2 multi-instance learning を用いた distant supervision はRE の性能にどのような影響を与えるか？
• RQ3 インスタンス袋に対する注意機構はノイズの多い監視の結果を改善するか？
• RQ4 マルチラベルの定式化は distant supervision 設定で重複する関係を捉えられるか？
• RQ5 CNN/PCNN アーキテクチャを超えた DL ベースの RE のさらなる改善に向けた有望な方向は何か？

主な発見

• DL モデルは distant supervision RE データセットで従来の非 DL モデルを大幅に上回る。
• Piecewise および注意機構ベースのプーリング戦略は、単一文プーリングや全体プーリングに比べて顕著な性能向上をもたらす。
• 袋 over の選択的注意（ソフト/ハード注意）は、従来の MIL アプローチより精度-再現率を改善する。
• クロスドキュメント最大プーリングとマルチラベル拡張は、エンティティ対ごとに複数の関係を扱う能力をさらに高める。
• RE への再帰ネットワーク（RNN/LSTM）の適用にはギャップがあり、今後の改善の可能性を示唆する。