[論文レビュー] PathologyBERT -- Pre-trained Vs. A New Transformer Language Model for Pathology Domain

Thiago de Santana Santos, Amara Tariq+5 more|arXiv (Cornell University)|May 13, 2022

Biomedical Text Mining and Ontologies被引用数 7

ひとこと要約

PathologyBERTは、347,173件のヒストパスロジー報告書を用いて事前学習されたドメイン特化型BERTベースの言語モデルであり、病理学的報告のばらつきと専門用語の問題に対処することを目的としている。NLUおよび乳がん診断分類タスクにおいて、汎用モデルを上回る性能を示しており、ドメイン特化型事前学習が病理学的テキストマイニングにおける性能を顕著に向上させることを実証している。

ABSTRACT

Pathology text mining is a challenging task given the reporting variability and constant new findings in cancer sub-type definitions. However, successful text mining of a large pathology database can play a critical role to advance 'big data' cancer research like similarity-based treatment selection, case identification, prognostication, surveillance, clinical trial screening, risk stratification, and many others. While there is a growing interest in developing language models for more specific clinical domains, no pathology-specific language space exist to support the rapid data-mining development in pathology space. In literature, a few approaches fine-tuned general transformer models on specialized corpora while maintaining the original tokenizer, but in fields requiring specialized terminology, these models often fail to perform adequately. We propose PathologyBERT - a pre-trained masked language model which was trained on 347,173 histopathology specimen reports and publicly released in the Huggingface repository. Our comprehensive experiments demonstrate that pre-training of transformer model on pathology corpora yields performance improvements on Natural Language Understanding (NLU) and Breast Cancer Diagnose Classification when compared to nonspecific language models.

研究の動機と目的

• 効果的なテキストマイニングを実現するための病理学的特化型言語モデルの不足に対処すること。
• 病理学的報告書における自然言語理解および疾患分類の性能を向上させること。
• 一般ドメイン言語モデルが専門的病理学用語を処理する際の制限を克服すること。
• 病理学ドメインに特化した、公開可能な事前学習済みトランスフォーマーモデルの開発およびリリースすること。
• ドメイン特化型事前学習が一般モデルの微調整に比べて測定可能な性能向上をもたらすことを実証すること。

提案手法

• 347,173件のヒストパスロジー標本報告書からなる大規模コーパスを用いて、BERTベースのトランスフォーマーモデルを事前学習すること。
• 文脈的表現を学ぶために、事前学習中にマスクされた言語モデル（MLM）の目的関数を用いること。
• 病理学用語および報告書の構造に適応したカスタムトークナイザーを用いて学習すること。
• 下流タスク（NLUおよび乳がん診断分類）におけるPathologyBERTの微調整を実施すること。
• 同じ病理学データ上で微調整された一般ドメインBERTモデルと比較して、性能を評価すること。
• Hugging Faceにモデルをリリースし、臨床NLPアプリケーションにおける公開利用および再利用を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 一般ドメインモデルを微調整するのと比較して、病理学的テキストでトランスフォーマーモデルを事前学習することで、下流NLPタスクの性能が向上するか？
• RQ2 ドメイン適応型トークナイザーおよびアーキテクチャは、病理学的報告書の表現学習を向上させることができるか？
• RQ3 PathologyBERTは、病理学ドメインにおける自然言語理解タスクでどの程度の性能を示すか？
• RQ4 PathologyBERTは、乳がん診断分類の正確性をどの程度向上させるか？
• RQ5 一般ドメインモデルと病理学特化型モデルの間には、臨床的テキストマイニングにおいて測定可能な性能差が存在するか？

主な発見

• PathologyBERTは、微調整された一般ドメインBERTモデルと比較して、自然言語理解タスクで顕著な性能向上を達成した。
• 疾患固有の用語およびパターンの学習がより優れており、乳がん診断分類において優れた性能を示した。
• 病理学的テキストで事前学習することで、ドメインに依存しない事前学習よりもより強固で正確な表現が得られた。
• 複数の評価指標にわたり一貫した性能向上が確認され、ドメイン特化型事前学習の価値が裏付けられた。
• Hugging FaceへのPathologyBERTのリリースにより、より広範な採用および臨床的テキストマイニングパイプラインへの統合が可能になった。
• 結果から、病理学的報告書の複雑さとばらつきに対処するには、専用の事前学習が不可欠であるという仮説が支持された。