[論文レビュー] Pre-training technique to localize medical BERT and enhance biomedical BERT

Shoya Wada, Toshihiro Takeda+4 more|arXiv (Cornell University)|May 14, 2020

Topic Modeling参考文献 26被引用数 15

ひとこと要約

本稿では、ドメイン固有のコーパスをアップサンプリングし、より大きな一般ドメインコーパスとバランスさせる手法を用いて、バイオメディカル BERT の性能を向上させる事前訓練技術を提案する。拡張されたボキャブラリーを用いることで、医療テキスト分類およびバイオメディカル理解ベンチマークにおいて顕著な性能向上を達成しており、臨床ノートを事前訓練に使用しない場合でも、BLUE ベンチマークでベースラインより 0.3 ポイント高いスコアを記録した。

ABSTRACT

Pre-training large-scale neural language models on raw texts has made a significant contribution to improving transfer learning in natural language processing (NLP). With the introduction of transformer-based language models, such as bidirectional encoder representations from transformers (BERT), the performance of information extraction from a free text by NLP has significantly improved for both the general domain and medical domain; however, it is difficult to train specific BERT models that perform well for domains in which there are few publicly available databases of high quality and large size. We hypothesized that this problem can be addressed by up-sampling a domain-specific corpus and using it for pre-training with a larger corpus in a balanced manner. Our proposed method consists of a single intervention with one option: simultaneous pre-training after up-sampling and amplified vocabulary. We conducted three experiments and evaluated the resulting products. We confirmed that our Japanese medical BERT outperformed conventional baselines and the other BERT models in terms of the medical document classification task and that our English BERT pre-trained using both the general and medical-domain corpora performed sufficiently well for practical use in terms of the biomedical language understanding evaluation (BLUE) benchmark. Moreover, our enhanced biomedical BERT model, in which clinical notes were not used during pre-training, showed that both the clinical and biomedical scores of the BLUE benchmark were 0.3 points above that of the ablation model trained without our proposed method. Well-balanced pre-training by up-sampling instances derived from a corpus appropriate for the target task allows us to construct a high-performance BERT model.

研究の動機と目的

• 大規模で高品質なドメイン固有のデータセットが入手できない状況において、高性能なドメイン特化 BERT モデルを訓練する課題に対処すること。
• 医療テキスト分類および言語理解タスクにおけるバイオメディカル BERT の性能を向上させること。
• ドメイン固有と一般ドメインのコーパスを効果的にバランスさせる事前訓練戦略を開発すること。
• 臨床ノートを事前訓練に使用しない状態でも、高パフォーマンスで局所化された医療 BERT モデルを構築できること。
• 事前学習済み重みおよび微調整コードを広く研究利用可能な形で公開すること。

提案手法

• 事前訓練中に、小規模なドメイン固有の医療コーパスをアップサンプリングし、より大きな一般ドメインコーパスとバランスさせる。
• アップサンプリングされた医療コーパスと一般ドメインコーパスの両方で、BERT モデルを同時に事前学習する。
• 医療ドメインに特化したトークンを含むようにボキャブラリーを拡張する。
• 両方のコーパスをバランスよく統合する単一の事前学習フェーズを用いて、モデルの局所化を向上させる。
• 英語および日本語の医療 BERT バリエーションの両方に対して、同じ事前学習手順を適用する。
• マスク言語モデルと次文予測の目的関数を、統合されたコーパスに適応してモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 小規模な医療コーパスをアップサンプリングし、より大きな一般ドメインコーパスと組み合わせることで、ドメイン特化 BERT モデルの性能が向上するか？
• RQ2 拡張されたボキャブラリーを用いたバランスの取れた事前学習は、医療テキスト分類タスクでの性能向上に寄与するか？
• RQ3 臨床ノートを事前訓練に使用しないバイオメディカル BERT モデルでも、バイオメディカル理解ベンチマークで高い性能を達成できるか？
• RQ4 従来の事前学習ベースラインと比較して、提案手法はトランスファーラーニングの有効性において優れているか？
• RQ5 強化された BERT モデルは、BLUE ベンチマークでどの程度性能が向上するか？

主な発見

• 提案された日本語医療 BERT は、医療文書分類タスクで従来のベースラインを上回った。
• 一般ドメインおよび医療コーパスの両方で事前学習された英語 BERT モデルは、BLUE ベンチマークで実用的な性能を達成した。
• 臨床ノートを用いない形で学習された強化されたバイオメディカル BERT モデルは、BLUE ベンチマークの臨床およびバイオメディカルサブタスクで、アブレーションモデルより 0.3 ポイント高いスコアを記録した。
• アップサンプリングされたドメイン固有データを用いた適切なバランスの取れた事前学習は、評価タスク全体でモデル性能を顕著に向上させた。
• 本手法は、戦略的なデータ拡張とバランス処理により、高品質なドメインデータが限られている状況でも、効果的なドメイン局所化が可能であることを示した。
• 事前学習済み重みおよび微調整コードを公開し、再現性およびさらなる研究を支援した。