[論文レビュー] Incorporating Relation Paths in Neural Relation Extraction

Wenyuan Zeng, Yankai Lin+2 more|arXiv (Cornell University)|Sep 23, 2016

Topic Modeling参考文献 29被引用数 16

ひとこと要約

この論文では、直接文に加えて中間エンティティから導かれる関係（間接推論チェーン）を組み込むことで関係予測を向上させるニューラル関係抽出モデル、PathNREを提案する。CNNを用いたパスベースエンコーダーにより、マルチホップパスにわたる関係的意味をモデル化することで、特にノイズの多い条件下でも強力なベースラインを著しく上回る一貫した性能向上を達成し、ゼロショット設定においても頑健性と有効性を示している。

ABSTRACT

Distantly supervised relation extraction has been widely used to find novel relational facts from plain text. To predict the relation between a pair of two target entities, existing methods solely rely on those direct sentences containing both entities. In fact, there are also many sentences containing only one of the target entities, which provide rich and useful information for relation extraction. To address this issue, we build inference chains between two target entities via intermediate entities, and propose a path-based neural relation extraction model to encode the relational semantics from both direct sentences and inference chains. Experimental results on real-world datasets show that, our model can make full use of those sentences containing only one target entity, and achieves significant and consistent improvements on relation extraction as compared with baselines. The source code of this paper can be obtained from https: //github.com/thunlp/PathNRE.

研究の動機と目的

• 既存のニューラル関係抽出モデルが、両方のターゲットエンティティを含む文に依存しているという制限を解消すること。
• 中間エンティティを通じて推論チェーンを構築することで、片方のターゲットエンティティしか含まない文を活用すること。
• 間接的な関係的証拠を組み込むことで、ノイズの多い遠隔監視に対するモデルの頑健性を向上させること。
• 学習済みのパス表現を用いて、文に共起しないエンティティに対してもゼロショット関係予測を可能にすること。

提案手法

• 直接文および間接文から得られる文レベルの意味を畳み込みニューラルネットワーク（CNN）を用いてエンコードすること。
• 中間エンティティのチェーンが与えられたもとで関係の確率を計算する関係パスエンコーダーを構築すること。
• 最終予測のための重み付き融合機構を用いて、直接文の表現と推論パスの表現を統合すること。
• 特徴学習とモデル一般化の向上のため、マックスプーリングとランダム初期化（rand/max）戦略を適用すること。
• 遠隔監視データ上で交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練すること。
• softmaxを用いて多段階推論チェーンにおける不確実性をモデル化し、パス上での確率的推論を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 直接文の監視を超えて、間接関係パスをモデル化することでニューラル関係抽出の性能が向上するか？
• RQ2 推論チェーンを組み込むことで、遠隔監視におけるノイズレベルの上昇に対してもモデルの頑健性が向上するか？
• RQ3 学習済みのパス表現は、文に共起しない関係に対してもゼロショット関係予測に一般化可能か？
• RQ4 パスベース特徴量は、単一文特徴量に比べて、関係相関をどの程度効果的に捉えられるか？
• RQ5 確率的パス推論を用いることで、曖昧な関係や明示的でない関係をどの程度うまく不確実性を伴って捉えられるか？

主な発見

• Path+rand/maxモデルは、すべてのテスト設定で最高の性能を達成し、実世界のデータセットにおいて強力なベースラインを上回った。
• ノイズレベルが上昇しても、Path+rand/maxは他のモデルと比べて著しく性能低下が小さく、より高い頑健性を示した。
• ゼロショット評価では、Path+max特徴量が60.4%の正確度を達成し、CNN+max（57.3%）およびCNN+rand（56.9%）を上回り、優れた一般化能力を示した。
• 事例研究により、モデルが「配偶者」や「国境を接する」などの関係を、関係が明示的に述べられていない状況でも間接的推論チェーンを用いて正しく予測していることが確認された。
• softmaxベースのパス確率推定により、マルチホップ推論における不確実性を効果的に捉え、曖昧なケースにおいても信頼性の高い予測が可能になった。
• 結果から、パスにわたる関係的相関をモデル化することで、単一文エンコーディングに比べてより情報量が多く、転送可能な特徴量が得られることを検証した。