[論文レビュー] Deeper Task-Specificity Improves Joint Entity and Relation Extraction

Phil Crone|arXiv (Cornell University)|Feb 15, 2020

Topic Modeling参考文献 24被引用数 4

ひとこと要約

本稿では、命名参照認識（NER）と関係抽出（RE）の共同学習において、NERおよびREの両方のタスク固有の双方向RNN（BiRNN）を追加することで、より深いタスク固有性を導入するアプローチを提案する。ADEデータセットでは最先端性能を達成し、CoNLL04でも競争力ある結果を示した。従来の最先端モデルと比較してパラメータ数が10倍少ないにもかかわらず、性能を同等または上回った。これは、より深いタスク固有性が性能向上に顕著に寄与すること、および共有層とタスク固有層のバランスはデータセットごとに最適化されるべきであることを示している。

ABSTRACT

Multi-task learning (MTL) is an effective method for learning related tasks, but designing MTL models necessitates deciding which and how many parameters should be task-specific, as opposed to shared between tasks. We investigate this issue for the problem of jointly learning named entity recognition (NER) and relation extraction (RE) and propose a novel neural architecture that allows for deeper task-specificity than does prior work. In particular, we introduce additional task-specific bidirectional RNN layers for both the NER and RE tasks and tune the number of shared and task-specific layers separately for different datasets. We achieve state-of-the-art (SOTA) results for both tasks on the ADE dataset; on the CoNLL04 dataset, we achieve SOTA results on the NER task and competitive results on the RE task while using an order of magnitude fewer trainable parameters than the current SOTA architecture. An ablation study confirms the importance of the additional task-specific layers for achieving these results. Our work suggests that previous solutions to joint NER and RE undervalue task-specificity and demonstrates the importance of correctly balancing the number of shared and task-specific parameters for MTL approaches in general.

研究の動機と目的

• 既存のマルチタスク学習モデルにおけるタスク固有パラメータの未利用状態を是正すること。
• 浅いアーキテクチャを越えてタスク固有性を高めることで、共同NERとREタスクの性能が向上するかどうかを調査すること。
• 共有層とタスク固有層の最適なバランスがデータセットごとに異なること、そしてドメインごとに最適化されるべきであることを示すこと。
• より深いタスク固有設計によりモデルの複雑さを低減しながら、性能を維持または向上させること。
• タスク固有層が、特に関係抽出のような複雑なタスクにおいて不可欠であるという実証的証拠を提供すること。

提案手法

• NERおよびREの両タスクに追加のタスク固有双方向RNN（BiRNN）層を導入し、従来の研究を越えてより深いタスク固有性を実現する。
• 共有層とタスク固有層のBiRNN層の数を別々のハイパーパrameterとして扱い、データセットごとに独立して最適化する。
• ハードパラメータ共有を採用：まず共有層で入力を処理し、その後にNER用およびRE用のタスク固有BiRNNを適用する。
• NERにはBIO/BILOUラベル付け方式を採用し、関係抽出は統合デコードフレームワークでエンティティペア間の関係を予測する。
• 同一のトレーニングおよび評価プロトコルを用いて、ランダム重み初期化を各試行で再現し、ADEおよびCoNLL04の2つのデータセットにモデルを適用する。
• 全パラメータ数を一定に保ちながら、NER固有、RE固有、またはすべてのタスク固有BiRNN層を削除するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習アーキテクチャにおけるタスク固有性の向上が、共同NERとREタスクの性能向上に寄与するか？
• RQ2 異なる共有層およびタスク固有層の構成が、データセットごとに共同NERとREモデルの性能にどのように影響するか？
• RQ3 より深いタスク固有性により、トレーニング可能なパラメータ数を削減しながらも、最先端性能を維持または向上させられるか？
• RQ4 タスク固有層の利点が、NERとREのどちらのタスクにおいて顕著に現れるか？その理由は何か？
• RQ5 共有層とタスク固有層の最適なバランスは、固定アーキテクチャを用いるのではなく、データセットごとに実証的に決定可能か？

主な発見

• 提案モデルは、ADEデータセットにおいてNER（89.78マクロ）およびRE（72.63マクロ）の両方で最先端のF1スコアを達成した。
• CoNLL04データセットでは、NERで最先端性能（89.78マクロF1）、REで準最先端性能（71.08マイクロF1）を達成し、従来のモデルを上回った。
• 現在の最先端アーキテクチャと比較して、トレーニング可能なパラメータ数が約10倍少ないにもかかわらず、性能を同等または上回った。
• アブレーションスタディの結果、RE固有BiRNN層を削除するとRE F1が著しく低下（55.47マイクロ）し、REタスクにおいてタスク固有の能力に強く依存していることが示された。
• NER性能はNER固有層の削除に対してはやや敏感でないことが判明し、REタスクがより複雑で、タスク固有モデリングの恩恵をより強く受けることが示唆された。
• NER固有層を一切持たないが、RE固有層と共有層を持つモデルが、NguyenとVerspoor（2019）のモデルを上回った。これは、より深い共有およびタスク固有アーキテクチャの利点を強力に示している。