[論文レビュー] Jointly Extracting Relations with Class Ties via Effective Deep Ranking

Hai Ye, Wenhan Chao+2 more|arXiv (Cornell University)|Dec 22, 2016

Topic Modeling参考文献 20被引用数 6

ひとこと要約

本稿では、クラスのつながり（関係の共起と論理的含意）を活用して、CNNベースの文エンコーダーと新しいペアワイズランキング損失関数を用いて、複数の関係を統合的に抽出する統一された深層順序付けモデルを提案する。この手法は、Riedelデータセット上でベースラインを著しく上回り、関係の依存関係を効果的にモデル化し、'関係なし'（NR）ラベルによるクラス不均衡を軽減することで、最先端の性能を達成する。

ABSTRACT

Connections between relations in relation extraction, which we call class ties, are common. In distantly supervised scenario, one entity tuple may have multiple relation facts. Exploiting class ties between relations of one entity tuple will be promising for distantly supervised relation extraction. However, previous models are not effective or ignore to model this property. In this work, to effectively leverage class ties, we propose to make joint relation extraction with a unified model that integrates convolutional neural network (CNN) with a general pairwise ranking framework, in which three novel ranking loss functions are introduced. Additionally, an effective method is presented to relieve the severe class imbalance problem from NR (not relation) for model training. Experiments on a widely used dataset show that leveraging class ties will enhance extraction and demonstrate the effectiveness of our model to learn class ties. Our model outperforms the baselines significantly, achieving state-of-the-art performance.

研究の動機と目的

• 一つのエンティティタプルに複数の有効な関係が存在する可能性がある遠隔教師付き関係抽出における関係の重複問題に対処すること。
• 関係間の弱い共起と強い論理的含意の両方を含むクラスのつながりを活用して、抽出精度を向上させること。
• 複数の関係を同時に予測しながらも関係の依存関係を維持する統一モデルを開発すること。
• トレーニング中に '関係なし'（NR）クラスによる深刻なクラス不均衡を軽減すること。
• ペアワイズランキングを用いた統合抽出が、関係の文脈を保持することで、個別関係抽出を上回ることを示すこと。

提案手法

• 関係候補ごとに文を密なベクトル表現にエンコードするため、畳み込みニューラルネットワーク（CNN）を用いる。
• 複数の文からなるエンティティペアのバッグ表現を形成するために、平均プーリングとアテンションベースのプーリングの2つの文集約手法を採用する。
• 正例関係ラベルを負例よりも高い順位にすることで、ラベル間の依存関係をモデル化する3つの新しいペアワイズランキング損失関数を導入する。
• 関係タイプを表現するためのクラス埋め込みを適用し、バッグ表現と関係埋め込みの間の類似度スコアを実数空間で計算する。
• '関係なし'（NR）クラスの影響を軽減するために、NRサンプルからの勾配伝播を抑制することで、モデルのロバスト性を向上させる。
• 統合予測とペアワイズランキングを組み合わせることで、関係間の共起と含意パターンを保持する。

実験結果

リサーチクエスチョン

• RQ1 クラスのつながりをモデル化した統合関係抽出は、遠隔教師付き設定において、独立した関係抽出よりも性能を向上させることができるか？
• RQ2 平均プーリングとアテンションプーリングの異なる文集約戦略は、統合関係抽出における文間の証拠をどれほど効果的に捉えられるか？
• RQ3 NRクラスの影響を軽減することで、モデルの一般化性能と収束性がどの程度向上するか？
• RQ4 ペアワイズランキング損失関数は、共起や含意といった関係的依存関係を効果的に学習できるか？
• RQ5 複数の関係を統合的にモデル化することは、個別モデルと比較して、より高い正確性と再現率を達成できるか？

主な発見

• 特にExATT集約法とペアワイズランキング損失を組み合わせた本手法は、トップ100からトップ500の予測において平均精度が79.0%に達し、最高の性能を示した。
• Rank + ExATTは、すべてのトップ-N閾値において、Rank + AVEおよびRank + ATTを精度と再現率の両面で上回り、優れた一般化性能を示した。
• NRクラスの影響を軽減することでモデル性能が著しく向上し、'-NR'バージョンは'+NR'ベースラインと比較して収束が滑らかで、最終的なF-measureも高かった。
• クラスのつながりをモデル化した統合抽出は、ゴールドスタンダード関係（例：/location/./county_seat および /location/./contains）に対して、個別抽出よりも高いスコアを達成し、関係の文脈の恩恵を確認した。
• NRを抑制しない場合、モデルはより速く収束するが、安定性に欠けることが示され、NRバイアスがトレーニングダイナミクスに悪影響を及えることがわかった。
• 事例研究により、統合抽出が関係的依存関係を保持でき、一方の関係が証拠によって支持されれば、関連するもう一方の関係も正しく予測できることを確認した。