[논문 리뷰] Federated pretraining and fine tuning of BERT using clinical notes from multiple silos

Dianbo Liu, Timothy A. Miller|arXiv (Cornell University)|2020. 02. 20.

Topic Modeling참고 문헌 18인용 수 23

한 줄 요약

이 논문은 여러 의료 기관의 임상 기록에서 원시 데이터를 공유하지 않고도 BERT를 분산된 방식으로 미세조정 및 사전학습할 수 있는 피어드 학습 프레임워크를 제안한다. MIMIC-III 퇰스트리트 요약문을 사용해 데이터 소일로 분산된 방식으로 BERT 모델을 훈련시킴으로써 경쟁적인 성능을 달성한다. 특히 사전학습은 피어드이고 미세조정은 중심화된 경우 성능이 뛰어나며, 개인정보 보호를 위한 임상 NLP의 실현 가능성을 입증한다.

ABSTRACT

Large scale contextual representation models, such as BERT, have significantly advanced natural language processing (NLP) in recently years. However, in certain area like healthcare, accessing diverse large scale text data from multiple institutions is extremely challenging due to privacy and regulatory reasons. In this article, we show that it is possible to both pretrain and fine tune BERT models in a federated manner using clinical texts from different silos without moving the data.

연구 동기 및 목표

• 원시 데이터를 이관하지 않고 여러 의료 기관의 임상 텍스트에서 BERT의 개인정보 보호형 사전학습을 가능하게 하기 위해.
• 피어드 학습이 임상 기록의 도메인 특화 언어 패턴을 효과적으로 포착할 수 있는지 조사하기 위해.
• 이름 있는 실체 인식(NER)과 같은 하류 NLP 작업에 대해 피어드 미세조정의 성능을 평가하기 위해.
• 피어드 학습 성능을 중심화된 학습과 비교하여 '피어드 커뮤니케이션 손실'을 정량화하기 위해.
• 기본 BERT 모델과 비교해 피어드 및 중심화된 BERT 모델의 어텐션 메커니즘을 분석하여 모델 행동과 유사성을 평가하기 위해.

제안 방법

• 환자의 데이터를 무작위로 분할하여 5개의 의료 소일로 시뮬레이션하였다.
• 임상 텍스트의 전처리 및 토큰화 파이프라인을 Alsentzer 등 (2019)의 방법에 따라 적응시켰다.
• 모든 소일에 동일한 BERT 모델을 초기화하고, 각 라운드 후 전역 매개변수 평균화를 통해 피어드 모델 집합을 수행하였다.
• 소일 간 비라벨링된 임상 기록에서 마스크된 언어 모델링을 사용해 피어드 사전학습을 수행하였다.
• 모델 업데이트를 사이트 간 집계하여, 라벨이 부여된 i2b2 데이터셋을 사용해 NER에 대해 피어드 미세조정을 수행하였다.
• 어텐션 헤드 행동을 비교하기 위해 제enson-쇼너 분산과 어텐션 엔트로피를 사용하였다.

실험 결과

연구 질문

• RQ1 여러 독립된 의료 기관의 임상 기록을 사용해 피어드 방식으로 BERT를 효과적으로 사전학습시킬 수 있는가?
• RQ2 하류 임상 NLP 작업(예: NER)에서 피어드 BERT 모델의 성능은 중심화된 모델과 비교해 어떻게 되는가?
• RQ3 다른 데이터 소일에서 사전학습과 미세조정을 분리함으로써 모델 성능에 어떤 영향을 미치는가?
• RQ4 피어드 BERT 모델의 어텐션 메커니즘은 중심화된 모델과 기본 BERT 모델과 비교해 어떻게 되는가?
• RQ5 피어드 학습이 임상 텍스트의 도메인 특화 언어적 특성들을 어느 정도 유지하는가?

주요 결과

• 여러 소일에서 임상 기록을 사용해 피어드 사전학습을 수행한 결과, i2b2 2010 NER 작업에서 F1 스코어 0.808, i2b2 2012에서는 0.715를 기록하여 데이터 공유 없이도 실현 가능함을 입증하였다.
• 사전학습은 피어드이고 미세조정은 중심화된 경우, i2b2 2010에서 F1 스코어 0.820, i2b2 2012에서는 0.735를 기록하여 전체 중심화된 학습 대비 약 5% 이하의 성능 저하를 보였다.
• 사전학습은 중심화되고 미세조정은 피어드인 경우, F1 스코어가 2% 미만으로 감소(2010년: 0.843, 2012년: 0.731)하여, 미세조정이 분산화에 더 강건함을 시사하였다.
• 사전학습과 미세조정 모두 피어드 방식으로 수행된 경우, i2b2 2010에서 F1 스코어 0.808, i2b2 2012에서는 0.715를 기록하여 중심화된 학습 대비 약 6%의 성능 저하를 보였다.
• 어텐션 분석 결과, 피어드 임상 BERT 모델은 기본 BERT 모델과의 스피어만 상관계수 0.96을 기록했고, 중심화된 ClinicalBERT 모델과는 0.27로 낮아, 기본 BERT 모델에 더 가까운 어텐션 패턴을 유지하고 있음을 시사하였다.
• 피어드 임상 BERT와 기본 BERT 간 제enson-쇼너 분산 거리는 8153.26이었고, 피어드 모델과 중심화된 ClinicalBERT 간 거리는 314.38로 낮아, 어텐션 행동이 중심화된 모델과 더 유사함을 나타내었다.