[論文レビュー] MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers

Muhammad Raza Khan, Morteza Ziyadi+1 more|arXiv (Cornell University)|Jan 24, 2020

Topic Modeling参考文献 19被引用数 34

ひとこと要約

MT-BioNER は、複数の生物医療NERデータセットにわたって BioBERT/BERT 層を共有するマルチタスクのトランスフォーマーベースのスロットタグ付けモデルを提示し、リコールと全体的な F1 を改善するとともに、単一タスク手法と比較して学習および推論時間を短縮します。

ABSTRACT

Conversational agents such as Cortana, Alexa and Siri are continuously working on increasing their capabilities by adding new domains. The support of a new domain includes the design and development of a number of NLU components for domain classification, intents classification and slots tagging (including named entity recognition). Each component only performs well when trained on a large amount of labeled data. Second, these components are deployed on limited-memory devices which requires some model compression. Third, for some domains such as the health domain, it is hard to find a single training data set that covers all the required slot types. To overcome these mentioned problems, we present a multi-task transformer-based neural architecture for slot tagging. We consider the training of a slot tagger using multiple data sets covering different slot types as a multi-task learning problem. The experimental results on the biomedical domain have shown that the proposed approach outperforms the previous state-of-the-art systems for slot tagging on the different benchmark biomedical datasets in terms of (time and memory) efficiency and effectiveness. The output slot tagger can be used by the conversational agent to better identify entities in the input utterances.

研究の動機と目的

• Domain-specific な会話エージェントのためのラベル付きデータが限られている場合の Biomedical Named Entity Recognition (BioNER) の改善を動機づける。
• データセット間で事前学習言語モデルの層を共有しつつ、データセット固有の出力ヘッドを使用するマルチタスク学習アーキテクチャを提案する。
• ベンチマーク生物医療データセットで精度・リコール・F1 の性能向上を示し、学習/推論の効率を分析する。

提案手法

• タスク間で共有エンコーダとして BioBERT を使用する。
• 各データセットに対してデータセット固有のエンティティ種を学習するためのタスク固有の線形出力層を追加する。
• データセットごとのクロスエントロピー損失を和で構成するマルチタスク目的で学習し、データセットの寄与を等しくする（lambda_i = 1）。
• 共有層の凍結 vs. ネットワーク全体のファインチューニングという2つの転移学習バリアントを調査する。
• 最先端の BioNER モデルと比較し、学習時間・推論時間・モデルサイズを報告する。
• トレーニングスキーマ（Algorithm I vs Algorithm II）と BioBERT 対一般的な BERT ベースを用いたドメイン適応を検討する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習で共有トランスフォーマー backbone を用いると、単一タスクや他のマルチタスクベースと比べて複数の生物医学データセットに対する BioNER の性能が向上するか。
• RQ2 共有層のファインチューニング vs 凍結という戦略が性能と学習効率に与える影響は何か。
• RQ3 ドメイン特化の事前学習（BioBERT） は、マルチタスク BioNER において一般的な BERT ベースと比較してどのような結果になうか。
• RQ4 マルチタスク BioNER モデルの学習時間・推論時間・モデルサイズのトレードオフはどうなるか。

主な発見

• MT-BioNER は3つのデータセットで競合ベースラインよりリコールと F1 が高い。
• MT-BioNER は4つのデータセットで MTM-CW マルチタスク手法よりリコールと F1 が改善。
• 共有エンコーダとして BioBERT を用いると、生物医学的 NER に対して強いドメイン固有表現を得られる。
• 共有言語モデルとタスク固有レイヤを同時にファインチューニングすることが強力な性能にとって重要であり、共有層を凍結すると結果が劣る（F1 < 60%）。
• 最近のマルチタスクベースラインと比べて学習・推論時間が速く、単一のマルチタスクモデルとしての footprints は大きい（430 MB）。
• ドメイン適応の結果は、BioBERT ベースの MT-BioNER が一般 BERT ベースの設定に対して上回るか同等で、トレーニング回数にいくつかのトレードオフがあることを示す。