[論文レビュー] Robustly Pre-trained Neural Model for Direct Temporal Relation Extraction

Hong Guan, Jianfu Li+2 more|arXiv (Cornell University)|Apr 13, 2020

Topic Modeling参考文献 21被引用数 5

ひとこと要約

この論文では、より大きなドメイン適応型コーパスと改善された事前学習戦略を活用して、臨床テキストにおける直接的時系列関係抽出のためのロバストに事前学習されたニューラルモデル（RoBERTa）を提案する。これは、先行するSVMベースの手法と比較してF1スコアで0.0864の絶対的向上を達成し、i2b2 2012時系列関係データセットにおいて誤差を24%削減した。

ABSTRACT

Background: Identifying relationships between clinical events and temporal expressions is a key challenge in meaningfully analyzing clinical text for use in advanced AI applications. While previous studies exist, the state-of-the-art performance has significant room for improvement. Methods: We studied several variants of BERT (Bidirectional Encoder Representations using Transformers) some involving clinical domain customization and the others involving improved architecture and/or training strategies. We evaluated these methods using a direct temporal relations dataset which is a semantically focused subset of the 2012 i2b2 temporal relations challenge dataset. Results: Our results show that RoBERTa, which employs better pre-training strategies including using 10x larger corpus, has improved overall F measure by 0.0864 absolute score (on the 1.00 scale) and thus reducing the error rate by 24% relative to the previous state-of-the-art performance achieved with an SVM (support vector machine) model. Conclusion: Modern contextual language modeling neural networks, pre-trained on a large corpus, achieve impressive performance even on highly-nuanced clinical temporal relation tasks.

研究の動機と目的

• 臨床テキストからの直接的時系列関係抽出における最先端性能を向上させること。
• RoBERTaおよび他のBERT変種が、臨床ナラティブにおける微細な時系列的関係をどのように捉えるかを評価すること。
• ドメイン固有の事前学習と強化された学習戦略が、臨床的時系列関係タスクに与える影響を評価すること。
• 臨床NLPアプリケーションにおける時系列関係抽出のための堅牢なニューラルベースラインを確立すること。

提案手法

• 2012年i2b2時系列関係データセットの意味的焦点をもつサブセットに、RoBERTa（ロバストに事前学習されたBERTの変種）を微調整した。
• 標準的なBERTと比較して10倍大きな事前学習コーパスを活用し、臨床テキストの表現学習を強化した。
• 動的マスキングとより長い事前学習を含む、改善された事前学習戦略を適用し、モデルの汎化能力を向上させた。
• 直接的時系列関係分類タスクにおいて、標準的なF1スコアを用いてモデルの性能を評価した。
• 同じベンチマーク上で、RoBERTaを他のBERT変種およびSVMベースのベースラインモデルと比較した。
• 事前学習エンコーダーの上にタスク固有の分類層を追加する微調整戦略を採用した。

実験結果

リサーチクエスチョン

• RQ1 RoBERTaは、臨床テキストからの直接的時系列関係抽出において、以前の最先端モデルを上回ることができるか？
• RQ2 より大きなドメイン固有コーパスで事前学習することにより、臨床的時系列関係タスクの性能にどのような影響を与えるか？
• RQ3 動的マスキングやより長い事前学習などの改善された事前学習戦略は、モデルの頑健性と正確性をどの程度向上させるか？
• RQ4 臨床コーパスを用いたドメイン適応型事前学習は、微細な時系列的関係理解に顕著な向上をもたらすか？

主な発見

• RoBERTaは、i2b2直接的時系列関係データセットにおいて、先行SOTAのSVMベースのモデルと比較してF1スコアで0.0864の絶対的向上を達成した。
• モデルは、以前のSOTAと比較して誤差率を24%削減し、顕著な性能向上を示した。
• 10倍大きな事前学習コーパスの使用と強化された事前学習戦略が、性能向上に寄与した。
• RoBERTaは、臨床分野で微調整されたバージョンを含む他のBERT変種を上回り、事前学習戦略の重要性がドメイン固有の微調整のみに依存するよりも顕著であることを示した。
• 結果から、大規模コーパスで事前学習された現代的な文脈的言語モデルが、非常に微細な臨床的時系列推論タスクに対しても強力な性能を発揮できることを確認した。