[논문 리뷰] Quantification of BERT Diagnosis Generalizability Across Medical Specialties Using Semantic Dataset Distance

Mihir Khambete, William Su외 2명|arXiv (Cornell University)|2020. 08. 14.

Artificial Intelligence in Healthcare and Education인용 수 7

한 줄 요약

이 연구는 MIMIC-III EHR 데이터에서 신체계통 간 의미적 데이터 거리(MCD)를 사용하여 BERT 기반 NLP 모델의 일반화 능력을 평가한다. 모델이 다수의 전문 분야에서 훈련될수록 일반화 능력이 향상되며, 성능은 훈련 및 테스트 세트 간 의미적 유사성과 강하게 관련되어 있음을 발견했고, 전문 분야 간 테스트 시 모델 AUC가 내부 테스트의 0.92에서 외부 테스트의 0.83으로 감소함을 보였다.

ABSTRACT

Deep learning models in healthcare may fail to generalize on data from unseen corpora. Additionally, no quantitative metric exists to tell how existing models will perform on new data. Previous studies demonstrated that NLP models of medical notes generalize variably between institutions, but ignored other levels of healthcare organization. We measured SciBERT diagnosis sentiment classifier generalizability between medical specialties using EHR sentences from MIMIC-III. Models trained on one specialty performed better on internal test sets than mixed or external test sets (mean AUCs 0.92, 0.87, and 0.83, respectively; p = 0.016). When models are trained on more specialties, they have better test performances (p < 1e-4). Model performance on new corpora is directly correlated to the similarity between train and test sentence content (p < 1e-4). Future studies should assess additional axes of generalization to ensure deep learning models fulfil their intended purpose across institutions, specialties, and practices.

연구 동기 및 목표

• EHR 노트에서 BERT 기반 진단 감성 분류기의 다양한 의료 전문 분야 간 일반화 능력을 평가하기 위해.
• 다양한 전문 분야에서의 훈련 데이터 다양성을 늘림으로써 모델의 일반화 능력 향상 여부를 조사하기 위해.
• 의미적 데이터 거리(MCD)와 새로운 테스트 세트에서의 모델 성능 간 관계를 정량화하기 위해.
• 현재 NLP 모델이 전문 분야 및 기관 간 노트 스타일의 변동성을 다루는 데서 보이는 한계를 평가하기 위해.
• 새로운, 알려지지 않은 의료 코퍼스에서의 모델 성능을 예측하기 위한 정량적 지표(MCD)를 제공하기 위해.

제안 방법

• 베스 일라이자 디아코네스 메디컬 센터의 인터널 유닛에서 수집된 200만 건 이상의 노트를 포함하는 MIMIC-III EHR 데이터셋을 사용하였다.
• ICD-10 및 TCGA 질병 목록을 활용하여 종양학, 심장내과, 폐내과의 세 전문 분야에서 진단 용어를 포함한 2,955개 문장을 추출하였다.
• SpaCy를 통해 토큰화 및 문장 분할을 수행한 후, 과학적 BERT(SciBERT)를 사용해 의미적 표현을 임베딩하였다.
• 훈련 및 테스트 세트 문장 임베딩 간의 평균 코사인 거리(MCD)를 계산하여 데이터셋 유사성의 대체 지표로 사용하였다.
• 한 전문 분야, 두 전문 분야, 또는 모든 세 전문 분야에서 훈련된 BERT 기반 감성 분류기를 미세조정하고, 내부, 부분적, 외부 테스트 세트에서 AUC를 평가하였다.
• t-SNE 시각화를 통해 노트 유형과 의미적 유사성이 임베딩 공간에서 주요 신호임을 확인하였다.

실험 결과

연구 질문

• RQ1 MIMIC-III에서 동일 전문 분야(내부)에서 테스트할 경우와 다른 전문 분야(외부)에서 테스트할 경우 모델 성능은 어떻게 달라지는가?
• RQ2 다양한 전문 분야에서 훈련 데이터의 다양성을 높임으로써 모델의 일반화 능력 향상 정도는 어느 정도인가?
• RQ3 의미적 데이터 거리(MCD)가 새로운 테스트 세트에서의 모델 성능을 얼마나 잘 예측하는가?
• RQ4 노트 유형은 임베딩 유사성과 다양한 전문 분야 간의 일반화 능력에 어떤 역할을 하는가?
• RQ5 MCD는 임상 NLP에서 NLP 모델의 일반화 능력을 예측하기 위해 데이터셋 유사성의 신뢰할 수 있는 대체 지표가 될 수 있는가?

주요 결과

• 단일 전문 분야에서 훈련된 모델은 내부 테스트 세트에서 평균 AUC 0.92를 기록했지만, 혼합 전문 분야에서는 0.87로 떨어지고, 외부 전문 분야에서는 0.83으로 감소하였다(p = 0.016).
• 전체 전문 분야에서 훈련 세트의 다양성을 높임으로써 테스트 성능이 유의미하게 향상되었으며(p < 1e-4), 더 넓은 데이터로 훈련할수록 일반화 능력이 향상됨을 시사한다.
• 모델 성능은 훈련 및 테스트 세트 간 의미적 데이터 거리(MCD)와 강하게 상관되어 있었으며(p < 1e-4), MCD가 일반화 능력 예측에 신뢰할 수 있는 지표임을 보여주었다.
• 종양학 분야는 퇴원 요약 노트의 비중이 68%로 높아, 노트 유형 편향으로 인해 종양학 테스트 세트에서 성능이 과대평가되었을 가능성이 있다.
• MCD는 데이터셋 유사성의 차이를 효과적으로 반영하였으며, 내부 쌍은 외부 쌍보다 낮은 MCD를 보였지만, MCD는 복잡한 유사성 분포를 간단화할 수 있다는 한계가 있다.
• 연구는 노트 유형이 임베딩 공간에서 주요 신호임을 밝혀내었으며, 이는 의미적 유사성과 일반화 성능에 혼동을 줄 수 있음을 시사한다.