[論文レビュー] Neural Metric Learning for Fast End-to-End Relation Extraction

Tung Tran, Ramakanth Kavuluru|arXiv (Cornell University)|May 17, 2019

Topic Modeling参考文献 41被引用数 40

ひとこと要約

表ベースのエンドツーエンドの関係抽出モデルを導入し、2D畳み込みを用いた関係測距ネットワークでNERとREを同時学習する。訓練/推論時間が大幅に高速化され、最先端の結果を達成。

ABSTRACT

Relation extraction (RE) is an indispensable information extraction task in several disciplines. RE models typically assume that named entity recognition (NER) is already performed in a previous step by another independent model. Several recent efforts, under the theme of end-to-end RE, seek to exploit inter-task correlations by modeling both NER and RE tasks jointly. Earlier work in this area commonly reduces the task to a table-filling problem wherein an additional expensive decoding step involving beam search is applied to obtain globally consistent cell labels. In efforts that do not employ table-filling, global optimization in the form of CRFs with Viterbi decoding for the NER component is still necessary for competitive performance. We introduce a novel neural architecture utilizing the table structure, based on repeated applications of 2D convolutions for pooling local dependency and metric-based features, that improves on the state-of-the-art without the need for global optimization. We validate our model on the ADE and CoNLL04 datasets for end-to-end RE and demonstrate $\approx 1\%$ gain (in F-score) over prior best results with training and testing times that are seven to ten times faster --- the latter highly advantageous for time-sensitive end user applications.

研究の動機と目的

• NERとRE間のタスク間相関を活用して、エンドツーエンドのE2E REを動機づける。
• 局所および全体情報をプールするために、メトリックベースの特徴と2D畳み込みを用いる表埋め込みニューラルアーキテクチャを提案する。
• ビーム探索などの高コストなデコーディングを必要とせず、精度を向上させる。
• ベンチマークデータセット（CoNLL04とADE）で最先端の性能とより速い訓練/推論時間を示す。
• 隠れプーリング層の分析を通じた解釈可能性の洞察を提供する。

提案手法

• 対角線にBILOUエンコードされたエンティティを配置し、交差するエンティティ区間上に関係タグを置くn x nテーブルに対してREを表現として定式化する。
• 関連性関数 s_R(h_i, h_j) = h_i^T R^k h_j を複数のメトリックチャネル（Gテンソル）にわたって学習する関係メトリックネットワークを導入する。
• 語と文字特徴に対してBi-LSTMを用いて文脈埋め込みを計算する。
• 3x3の2D畳み込みの前に、依存関係および位置埋め込みを組み込み、ペアワイズ特徴を豊富にする。
• 情報を伝播させるためにλ個の畳み込み層による反復プーリングを適用し、初期の決定を裏付ける。
• 共起するエンティティ区間でQスコアを集約し、最大値タグを選択して関係をデコードする。

実験結果

リサーチクエスチョン

• RQ1 ビーム探索やCRFによるデコーディングに頼らず、エンドツーエンドのNERとREを統一されたアーキテクチャで効果的にモデル化するにはどうすればよいか？
• RQ2 メトリックベースの特徴と局所プーリングを備えた表ベース表現は、トークン間の関係を効率的かつ正確に捉えられるだろうか？
• RQ3 提案されたアーキテクチャは、ベンチマークデータセットでF1を維持または向上させつつ、訓練および推論速度を改善するか？
• RQ4 依存関係埋め込みと位置埋め込みがエンドツーエンドREの性能に与える影響は何か？
• RQ5 隠れプーリング層と中間決定の可視化によってモデルは解釈可能か？

主な発見

モデル	Entity P	Entity R	Entity F	Rel P	Rel R	Rel F	Train Time	Test Time
Table Representation Miwa and Sasaki (2014)	81.20	80.20	80.70	76.00	50.90	61.00	-	-
Multihead Bekoulis et al. (2018b)	83.75	84.06	83.90	63.75	60.43	62.04	-	-
Replicating Multihead with AT Bekoulis et al. (2018a)	84.36	85.80	85.07	65.81	57.59	61.38	614 sec	34 sec
Relation-Metric (Ours)†	84.46	84.67	84.57	67.97	58.18	62.68	101 sec	4.5 sec
-	-	-	-	-	-	-	-	-
-	-	-	-	-	-	-	-	-
-	-	-	-	-	-	-	-	-
-	-	-	-	-	-	-	-	-

• CoNLL04とADEで競争力のF1スコアを達成し、訓練と推論の速度向上が著しい（CoNLL04でテスト時間7–10x高速、ADE variantsでテスト時間4.5秒）。
• CoNLL04では、Relation-Metric (Ours) はREのF1約84.57、NERのP 84.46 R 84.67を達成。
• ADEではRelation-Metric (Ours) がRE F1 77.29、NER F1 87.11を達成。
• 従来の最先端手法を再現または上回りつつ、ビーム探索などの高コストなデコodingを回避。
• モデルは3x3の2D畳み込みプーリング戦略を3D入力（G, D, P）上で用い、局所とグローバル特徴を統合する。
• 訓練と推論時間が明示的に報告され、実用的な効率向上を示している。