[論文レビュー] Extracting Multiple-Relations in One-Pass with Pre-Trained Transformers

Haoyu Wang, Ming Tan+6 more|arXiv (Cornell University)|Feb 4, 2019

Topic Modeling参考文献 29被引用数 18

ひとこと要約

この論文では、事前学習されたトランスフォーマーを用いた1パス関係抽出フレームワークを提案する。このフレームワークは、1回のエンコーディングパスでエンティティペア間の複数の関係を同時に予測し、ACE 2005ベンチマークで最先端の性能を達成する。BERTに構造的予測レイヤーとエンティティに特化した自己注意機構を統合することで、精度を維持したまま効率性とスケーラビリティが向上する。

ABSTRACT

Most approaches to extraction multiple relations from a paragraph require multiple passes over the paragraph. In practice, multiple passes are computationally expensive and this makes difficult to scale to longer paragraphs and larger text corpora. In this work, we focus on the task of multiple relation extraction by encoding the paragraph only once (one-pass). We build our solution on the pre-trained self-attentive (Transformer) models, where we first add a structured prediction layer to handle extraction between multiple entity pairs, then enhance the paragraph embedding to capture multiple relational information associated with each entity with an entity-aware attention technique. We show that our approach is not only scalable but can also perform state-of-the-art on the standard benchmark ACE 2005.

研究の動機と目的

• 既存の複数関係抽出（MRE）手法が入力テキストに対して複数回のエンコーディングパスを必要としている非効率性を是正すること。
• 入力パラグラフを1回のフォワードパスで、エンティティペア間の複数の関係を同時に予測可能にする仕組みを実現すること。
• 大規模または複雑な入力テキストを扱う実世界の応用に適したスケーラビリティと効率性を向上させること。
• ACE 2005 や SemEval 2018 タスク7 といった標準MREベンチマークで最先端の性能を達成すること。
• 事前学習モデル（例：BERT）が、最小限のアーキテクチャ変更でエンドツーエンドMREに効果的に適応可能であることを示すこと。

提案手法

• 本手法は、構造的予測レイヤーを備えたBERTをベースエンコーダーとして用い、すべてのエンティティペアの関係を1回のフォワードパスで予測する。
• エンティティの位置を考慮したエンティティに特化した自己注意機構を導入し、注目ヘッドが入力系列内に存在するすべてのエンティティの位置に敏感になるようにする。
• エンティティ表現は、最終層におけるトークンレベルのBERT埋め込みの平均プーリングによって得られる。
• 関係予測は、各エンティティペアの表現を連結したのち、線形分類器を適用することで行う：$ P(r_{ij}|\mathbf{x},e_i,e_j) = \textrm{softmax}(\mathbf{W}^L[\mathbf{o}_i:\mathbf{o}_j] + \mathbf{b}) $。
• モデルはエンドツーエンドで学習され、比較のための単一パスおよび複数パスの推論設定をサポートする。
• 本アプローチは、RoBERTaを含むBERT以外のトランスフォーマー基盤エンコーダーとも互換性がある。

実験結果

リサーチクエスチョン

• RQ1 1回のエンコーディングパスで、性能を損なわずに1つの入力パラグラフから複数の関係を抽出可能か？
• RQ2 標準的なBERT注目機構と比較して、エンティティに特化した自己注意機構は、関係抽出の精度をどのように向上させるか？
• RQ3 BERTのような強力な事前学習埋め込みを用いる場合、単純な線形分類器で十分なMRE性能が得られるか？
• RQ4 1パスMREは、複数パスSREベース手法と比較して、速度と精度の両面で優れているか？
• RQ5 本手法は、詳細なファインチューニングやデータ拡張なしで、SemEval 2018 タスク7のような他のベンチマークにも一般化可能か？

主な発見

• 提案された1パスモデルは、ACE 2005ベンチマークで63.14のF1スコアを達成し、先行手法を上回る最先端の性能を示した。
• 推論時、1秒間に126件の関係を処理でき、23件／秒の次善の手法と比較して5.5倍高速であった。
• トレーニング時間は、複数パスSREベースラインと比較して3.5倍短縮された。
• SemEval 2018 タスク7では、81.4のマクロF1および83.1のマイクロF1を達成し、トップの共有タスクシステムと同等の性能を示したが、単一モデルで実現した。
• 線形分類器の使用がMLPやBiaffineレイヤーを上回る性能を示し、BERTの表現がすでに非常に表現力に富んでいることを示唆した。
• エンティティに特化した注目機構の導入により、SemEval 2010 タスク8ベンチマークで8%の性能向上が達成され、単一関係設定でも有効であることが実証された。