[論文レビュー] Fine-tuning BERT for Joint Entity and Relation Extraction in Chinese Medical Text

Kui Xue, Yangming Zhou+4 more|arXiv (Cornell University)|Aug 21, 2019

Topic Modeling参考文献 33被引用数 14

ひとこと要約

本稿では、タスク固有のMASK行列を用いて最終Bert層における注目範囲を動的に制限することで、Bertを微調整し、共同で中国語医療エンティティおよび関係抽出を実行する集中注目メカニズムを提案する。得られたSTRエンコーダーは、冠動脈造影テキストにおいて命名抽出（NER）で96.89%のF1、関係分類で88.51%のF1を達成し、SOTA性能を発揮し、先行手法よりそれぞれ1.65%および1.22%の向上を示した。

ABSTRACT

Entity and relation extraction is the necessary step in structuring medical text. However, the feature extraction ability of the bidirectional long short term memory network in the existing model does not achieve the best effect. At the same time, the language model has achieved excellent results in more and more natural language processing tasks. In this paper, we present a focused attention model for the joint entity and relation extraction task. Our model integrates well-known BERT language model into joint learning through dynamic range attention mechanism, thus improving the feature representation ability of shared parameter layer. Experimental results on coronary angiography texts collected from Shuguang Hospital show that the F1-score of named entity recognition and relation classification tasks reach 96.89% and 88.51%, which are better than state-of-the-art methods 1.65% and 1.22%, respectively.

研究の動機と目的

• 中国語医療テキストにおけるエンティティタイプと関係タイプの間の共有特徴を捕捉できないBi-LSTMベースの共同モデルの限界を是正すること。
• 共有パラメータ層にBertの事前学習済み知識を統合することで、共同学習における特徴表現を向上させること。
• NERおよびRCのタスクに特化したトークンにBertのコンテキスト学習を集中させる動的注目メカニズムを設計すること。
• 中国語医療テキスト抽出における共同学習アプローチとパイプラインアプローチの有効性を評価すること。
• ハイパーパラメータの感度およびアブレーション効果がモデル性能に与える影響を分析すること。

提案手法

• 最終K層のBertにおける注目メカニズムを変更し、タスク固有の入力スパンに注目を集中させる共有タスク表現エンコーダー（STRエンコーダー）を導入する。
• 関係分類に2種類の異なるMASK行列を採用：1つは2つのエンティティに注目を制限し、もう1つは広いコンテキストを許容する。
• Bertの自己注意メカニズムにおける注目範囲を制御する動的範囲注目を用い、タスク固有のコンテキスト表現を可能にする。
• NERおよびRCの共同学習フレームワークにおける共有特徴抽出器としてSTRエンコーダーを適用する。
• NER（BIEOSタグ付け）およびRC（分類）の両タスクに対して交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練する。
• NERおよびRCを別々に訓練することで、共同学習の利点を隔離するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 動的注目を備えたBertベースの共有エンコーダーは、中国語医療テキストにおける共同エンティティおよび関係抽出を改善できるか？
• RQ2 提案モデルにおけるMASK行列の選択が関係分類性能に与える影響は何か？
• RQ3 最適な性能を得るために、注目メカニズムを適用するBert層の数（K）はいくつが最適か？
• RQ4 NERとRCの共同学習は、それぞれのタスクを別々に学習するのと比較して優れているか？
• RQ5 ハイパーパラメータKとMASK設定が、モデル性能に与える相互作用は何か？

主な発見

• 提案モデルは命名抽出（NER）で96.89%のF1を達成し、前回のSOTAを1.65ポイント上回った。
• 関係分類では88.51%のF1を達成し、2番目に優れた手法より1.22%の向上を示した。
• K=6でMASK rcが式（13）を使用する場合、NERのF1は最高の96.77%に達し、広い注目範囲がエンティティ認識に寄与することが示された。
• 関係分類では、K=4でMASK rcが式（14）を使用する場合、最高のF1（92.18%）を達成し、制限された注目がRCに有利であることが示された。
• 共同学習により、NERとRCの両方のF1スコアが別々の学習に比べてそれぞれ0.52ポイントおよび0.82ポイント向上した。
• アブレーション解析により、共同学習が有益なタスク間特徴を捉えていることが確認されたが、ノイズの導入によりエンティティタイプ予測の精度はわずかに低下した。