[논문 리뷰] PathologyBERT -- Pre-trained Vs. A New Transformer Language Model for Pathology Domain

Thiago de Santana Santos, Amara Tariq외 5명|arXiv (Cornell University)|2022. 05. 13.

Biomedical Text Mining and Ontologies인용 수 7

한 줄 요약

PathologyBERT는 347,173건의 조직병리학 보고서를 기반으로 사전 훈련한 도메인 전용 BERT 기반 언어 모델로, 변동성이 큰 병리학 보고서와 전문 용어 문제를 해결하기 위해 개발되었다. NLU 및 유방암 진단 분류 작업에서 일반 목적 모델보다 뛰어난 성능을 보이며, 병리학 텍스트 마이닝 분야에서 도메인 전용 사전 훈련이 성능 향상에 크게 기여한다는 것을 입증한다.

ABSTRACT

Pathology text mining is a challenging task given the reporting variability and constant new findings in cancer sub-type definitions. However, successful text mining of a large pathology database can play a critical role to advance 'big data' cancer research like similarity-based treatment selection, case identification, prognostication, surveillance, clinical trial screening, risk stratification, and many others. While there is a growing interest in developing language models for more specific clinical domains, no pathology-specific language space exist to support the rapid data-mining development in pathology space. In literature, a few approaches fine-tuned general transformer models on specialized corpora while maintaining the original tokenizer, but in fields requiring specialized terminology, these models often fail to perform adequately. We propose PathologyBERT - a pre-trained masked language model which was trained on 347,173 histopathology specimen reports and publicly released in the Huggingface repository. Our comprehensive experiments demonstrate that pre-training of transformer model on pathology corpora yields performance improvements on Natural Language Understanding (NLU) and Breast Cancer Diagnose Classification when compared to nonspecific language models.

연구 동기 및 목표

• 암 연구 분야에서 효과적인 텍스트 마이닝을 위한 병리학 전용 언어 모델의 부족을 해결하기 위해.
• 병리학 보고서의 자연어 이해 및 질병 분류 작업에서 성능 향상을 위해.
• 일반 도메인 언어 모델이 전문 병리학 용어를 다룰 때 겪는 한계를 극복하기 위해.
• 병리학 도메인에 특화된 공개 가능하고 사전 훈련된 트랜스포머 모델을 개발하고 배포하기 위해.
• 도메인 전용 사전 훈련이 일반 모델의 미세조정 대비 측정 가능한 성능 향상을 이끌어내는지 입증하기 위해.

제안 방법

• 347,173건의 조직병리학 생검 보고서로 구성된 대규모 코퍼스를 기반으로 BERT 기반 트랜스포머 모델을 사전 훈련하기 위해.
• 문맥적 표현을 학습하기 위해 사전 훈련 중 마스크된 언어 모델링(Masked Language Modeling, MLM) 목적함수를 사용하기 위해.
• 병리학 용어와 보고서 구조에 맞게 조정된 맞춤형 토크나이저를 사용하기 위해.
• NLU 및 유방암 진단 분류 분류와 같은 하류 작업에 대해 사전 훈련된 PathologyBERT를 미세조정하기 위해.
• 동일한 병리학 데이터에 대해 미세조정된 일반 도메인 BERT 모델과의 성능 비교를 위해 평가하기 위해.
• Hugging Face를 통해 모델을 공개하여 임상 자연어 처리 응용 분야에서의 재사용과 활용을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 일반 도메인 모델을 미세조정하는 것과 비교해 병리학 전용 텍스트로 트랜스포머 모델을 사전 훈련하면 하류 자연어 처리 성능 향상이 이루어지는가?
• RQ2 도메인 적응형 토크나이저와 아키텍처가 병리학 보고서의 표현 학습을 향상시킬 수 있는가?
• RQ3 PathologyBERT는 병리학 도메인의 자연어 이해 작업에서 어떻게 성능을 발휘하는가?
• RQ4 PathologyBERT는 유방암 진단 분류 정확도 향상에 어느 정도 기여하는가?
• RQ5 임상 텍스트 마이닝 분야에서 일반 도메인 모델과 병리학 전용 모델 간에 측정 가능한 성능 격차가 존재하는가?

주요 결과

• PathologyBERT는 일반 도메인 BERT 모델을 미세조정한 것과 비교해 자연어 이해 작업에서 뚜렷한 성능 향상을 달성했다.
• 모델은 유방암 진단 분류 작업에서 뛰어난 성능을 보이며, 질병 전용 용어와 패턴을 더 잘 학습하고 있음을 시사한다.
• 병리학 전용 데이터로 사전 훈련하면 도메인 중립적 사전 훈련보다 더 강력하고 정확한 표현을 얻을 수 있었다.
• 모델의 성능 향상은 여러 평가 지표에서 일관되게 관찰되어, 도메인 전용 사전 훈련의 가치를 입증했다.
• Hugging Face에 PathologyBERT를 배포함으로써 더 넓은 도입과 임상 텍스트 마이닝 파이프라인에의 통합이 가능해졌다.
• 결과는 전문화된 사전 훈련이 병리학 보고서의 복잡성과 변동성을 다루는 데 필수적이라는 가설을 지지한다.