[論文レビュー] Structured Minimally Supervised Learning for Neural Relation Extraction

Fan Bai, Alan Ritter|arXiv (Cornell University)|Mar 29, 2019

Natural Language Processing Techniques参考文献 58被引用数 6

ひとこと要約

本稿では、遠隔教師あり学習におけるラベルノイズと欠落した事実を扱うために、1次元畳み込みニューラルネットワーク（PCNN）と潜在変数を用いた構造的学習を組み合わせた、構造的で最小限の教師付きのニューラル関係抽出モデルを提案する。文レベルの関係抽出要因を潜在変数でモデル化し、確定的要因とペairワイズ潜在変数を通じて知識ベースの事実と一貫性を保つことで、ベンチマークデータセットで最先端の性能を達成し、アテンションベースのニューラルモデルおよび先行の構造的手法を上回る。

ABSTRACT

We present an approach to minimally supervised relation extraction that combines the benefits of learned representations and structured learning, and accurately predicts sentence-level relation mentions given only proposition-level supervision from a KB. By explicitly reasoning about missing data during learning, our approach enables large-scale training of 1D convolutional neural networks while mitigating the issue of label noise inherent in distant supervision. Our approach achieves state-of-the-art results on minimally supervised sentential relation extraction, outperforming a number of baselines, including a competitive approach that uses the attention layer of a purely neural model.

研究の動機と目的

• 遠隔教師あり関係抽出におけるノイズが多く、不完全な教師信号の課題に対処すること。
• 欠落した事実や重複する関係をモデル化することで、低リソースな関係抽出における一般化性能とロバスト性を向上させること。
• 深層ニューラルネットワークの表現力と構造的学習のインダクティブバイアスを組み合わせ、最小限の教師付き条件下でのより良い推論を実現すること。
• 弱教師付き学習に起因するラベルノイズの影響を軽減しつつ、大規模なPCNNの訓練を可能にすること。

提案手法

• 関係予測のための文レベル表現を学習するために、位置埋め込みを用いた1次元畳み込みニューラルネットワーク（PCNN）を用いる。
• 文内の関係抽出要因に対して潜在変数を導入し、観測されたKB事実と確定的要因を通じて関連付ける。
• ペアワイズ潜在変数により予測された要因とKB事実の間の一貫性を強制するが、信頼度が高い場合には推論が制約を上書き可能にする。
• 周辺推論が計算不能であるため、MAPベースの学習目的関数を用い、構造的制約を組み込んだエンドツーエンドの訓練を可能にする。
• 従来のスパース特徴を用いた手法とは異なり、構造的学習とエンドツーエンドのニューラル特徴学習を統合する。
• 同一エンティティペアに対する複数の関係を同時に推論可能にし、重複する関係を明示的に処理できる。

実験結果

リサーチクエスチョン

• RQ1 ニューラル表現を用いた構造的学習は、最小限の教師付き条件下で関係抽出の性能を向上させることができるか？
• RQ2 ニューラルモデルは、遠隔教師あり学習におけるラベルノイズと欠落した事実をどれほど効果的に処理できるか？
• RQ3 確定的要因とペアワイズ潜在変数を用いて潜在関係要因をモデル化することで、純粋にニューラル的またはスパース特徴ベースの手法よりも一般化性能が向上するか？
• RQ4 エンドツーエンドのニューラル特徴学習を構造的予測と効果的に統合できるか？

主な発見

• 提案されたPCNN-NMARモデルは、最小限の教師付き関係抽出におけるNytFb-68kおよびNytFb-280kベンチマークで最先端の性能を達成した。
• NytFb-68kでは、競合するアテンションベースのニューラルモデル（PCNN+ATT）およびMultiRを上回り、F1スコアが高く、より優れた再現率・適合率のトレードオフを達成した。
• 高い再現率領域においても適合率を損なわずに、ラベルノイズと欠落した事実に対して優れたロバスト性を示した。
• 重み付きバージョンのPCNN-NMARは、高再現率領域で適合率が低下したが、これはKBに見逃された真陽性を効果的に抽出できたという仮説と整合的である。
• 潜在変数とニューラル表現を用いた構造的学習が、大規模かつ最小限の教師付き条件下での関係抽出に有効であることが確認された。