[논문 리뷰] Natural Language Processing Methods to Identify Oncology Patients at High Risk for Acute Care with Clinical Notes

Claudio Fanconi, Marieke van Buchem외 1명|arXiv (Cornell University)|2022. 09. 28.

Machine Learning in Healthcare인용 수 7

한 줄 요약

이 연구는 구조화되지 않은 임상 노트를 사용하여 종양학 환자에서 급성 간호 필요성(ACU)을 예측하기 위해 자연어 처리(NLP) 기법을 평가하며, 전통적인 NLP 기능과 딥러닝 모델을 비교한다. 연구 결과, 수동으로 설계된 언어 기능을 사용한 $ε_{1}$-패널티가 부여된 로지스틱 회귀 모델(Language LASSO)이 C-통계량 0.730을 기록하여 BERT 기반 모델(0.702)을 능가했으며, 구조화된 헬스 데이터 모델(0.748)과도 맞먹는 성능을 보이며 종양학 분야에서 다기관, 저전처리 조건에서의 위험 예측 가능성을 입증한다.

ABSTRACT

Clinical notes are an essential component of a health record. This paper evaluates how natural language processing (NLP) can be used to identify the risk of acute care use (ACU) in oncology patients, once chemotherapy starts. Risk prediction using structured health data (SHD) is now standard, but predictions using free-text formats are complex. This paper explores the use of free-text notes for the prediction of ACU instead of SHD. Deep Learning models were compared to manually engineered language features. Results show that SHD models minimally outperform NLP models; an l1-penalised logistic regression with SHD achieved a C-statistic of 0.748 (95%-CI: 0.735, 0.762), while the same model with language features achieved 0.730 (95%-CI: 0.717, 0.745) and a transformer-based model achieved 0.702 (95%-CI: 0.688, 0.717). This paper shows how language models can be used in clinical applications and underlines how risk bias is different for diverse patient groups, even using only free-text data.

연구 동기 및 목표

• 구조화되지 않은 임상 노트의 NLP를 통해 화학요법 시작 후 종양학 환자에서 급성 간호 필요성(ACU)을 예측할 수 있는지 평가하는 것, 구조화된 헬스 데이터(SHD)의 대안을 제공하기 위함이다.
• 전통적인 NLP 기능 설계 방식과 딥러닝 기반 트랜스포머 모델(예: BERT) 간의 ACU 위험 예측 성능을 비교하는 것.
• 임상 노트와 SHD를 조합할 경우 단일 모odal의 성능을 초월하는지 평가하는 것.
• 자유형 텍스트 데이터만을 사용할 경우 환자 하위군 간 위험 편향 가능성과 모델의 해석 가능성 여부를 조사하는 것.

제안 방법

• 단일 학술 종양학 센터의 EHR(Epic Systems)에서 수집한 임상 노트(H&P 및 진행 노트)를 수집하고 전처리하였으며, 100자 이하 또는 5,000자 초과인 노트 및 임상 시험 참가 동의서 복사본이 포함된 노트는 제외하였다.
• 각 환자에 대해 화학요법 시작 180일 이내의 최근 3개 노트를 추출하고 통합하였다.
• spaCy를 사용해 수동으로 설계된 언어 기능을 생성하였으며, 엔티티 제거, 否정 태깅, 어간 추출, 그리고 빈도가 높은 2,000개 단어에 대한 TF-IDF 가중치를 적용하였다.
• 구조화된 헬스 데이터(760개 기능)와 언어 기능(Language LASSO)을 사용한 $ε_{1}$-패널티가 부여된 로지스틱 회귀 모델을 훈련하였으며, 양자료를 융합한 모델(Fusion LASSO)도 함께 훈련하였다.
• 전체 임상 텍스트를 기반으로 BERT 기반 트랜스포머 모델을 훈련하여 ACU 예측을 수행하였으며, 30일, 180일, 365일 위험을 동시에 예측하기 위해 내재된 순서형 회귀를 사용하였다.
• 이전 연구에서 확보된 고정된 훈련/테스트 분할을 사용해 모델을 검증하였으며, C-통계량과 AUROC를 성능 지표로 보고하였고, 캘리브레이션 플롯과 환자 하위군 편향에 대한 민감도 분석도 수행하였다.

실험 결과

연구 질문

• RQ1 구조화되지 않은 임상 노트의 NLP가 구조화된 헬스 데이터(SHD) 모델과 비교해 종양학 환자에서 급성 간호 필요성(ACU) 예측 성능을 유사하거나 뛰어나게 달성할 수 있는가?
• RQ2 딥러닝 기반 트랜스포머 모델(예: BERT)이 임상 노트에서 ACU를 예측할 때 전통적인 NLP 기능 설계 방식과 선형 모델을 사용하는 것보다 성능이 뛰어나게 되는가?
• RQ3 임상 노트와 SHD를 조합하면 단일 모달리티를 사용할 때보다 ACU 예측 성능이 유의미하게 향상되는가?
• RQ4 LASSO 기반 NLP 모델은 블랙박스 트랜스포머 모델과 달리 위험 예측에 대한 해석 가능한 통찰을 제공할 수 있는가?
• RQ5 자유형 텍스트 데이터만을 사용할 경우, 명시적인 인구통계학적 정보 없이도 환자 하위군 간 위험 예측 편향이 감지될 수 있는가?

주요 결과

• $ε_{1}$-패널티가 부여된 로지스틱 회귀 모델(구조화된 헬스 데이터 기반, Tabular LASSO)은 C-통계량 0.748(95% 신뢰구간: 0.735–0.762)을 기록하였으며, 수동으로 설계된 언어 기능을 사용한 Language LASSO 모델(0.730; 95% 신뢰구간: 0.717–0.745)을 약간 앞서는 성능을 보였다.
• BERT 기반 모델은 C-통계량 0.702(95% 신뢰구간: 0.688–0.717)를 기록하여 LASSO 모델보다 성능이 열 劣하였으며, 이는 분할된 임상 텍스트 조각에서 딥 모델을 훈련하는 데 어려움이 있음을 시사한다.
• Language LASSO는 모든 시간 간격에서 AUROC ≥ 0.700을 달성하여, 특히 180일 예측에서 구조화된 데이터 없이도 강력한 분류 성능를 보였다.
• SHD와 언어 기능을 융합한 모델은 SHD 단독 사용보다 유의미한 성능 향상을 보이지 않아, 이 설정에서는 다중 모달리티 융합의 추가 가치가 제한적임을 시사한다.
• 민감도 분석 결과, 명시적인 인구통계학적 특성 사용 없이도 환자 하위군 간 잠재적 위험 편향이 존재하는 것으로 나타났으며, 이는 모델 배포 시 주의가 필요함을 시사한다.
• 이 연구는 LASSO 기반 NLP 모델이 기능 계수를 통해 해석 가능성을 제공하는 반면, BERT는 이러한 투명한 해석 메커니즘이 없음을 입증하였다.