[논문 리뷰] Natural language processing to identify lupus nephritis phenotype in electronic health records

Yu Deng, Jennifer A. Pacheco외 15명|arXiv (Cornell University)|2021. 12. 20.

Hepatitis C virus research인용 수 4

한 줄 요약

이 연구는 전자 건강 기록(EHR)에서 루푸스 신염 표현형을 식별하기 위한 자연어 처리(NLP) 기반 알고리즘을 개발하고 검증한다. 이 알고리즘은 구조화된 데이터와 병리 보고서 및 노트의 임상 텍스트를 통합한다. 최고의 성능을 보인 모델—CUI, 정규 표현식, 및 기능 수를 조합한 방식—은 벤슨대학교 의료센터에서의 외부 검증에서 F-측정치 0.96을 기록했으며, 기준 규칙 기반 접근 방식(F-측정치 0.62)을 크게 능가했다.

ABSTRACT

Systemic lupus erythematosus (SLE) is a rare autoimmune disorder characterized by an unpredictable course of flares and remission with diverse manifestations. Lupus nephritis, one of the major disease manifestations of SLE for organ damage and mortality, is a key component of lupus classification criteria. Accurately identifying lupus nephritis in electronic health records (EHRs) would therefore benefit large cohort observational studies and clinical trials where characterization of the patient population is critical for recruitment, study design, and analysis. Lupus nephritis can be recognized through procedure codes and structured data, such as laboratory tests. However, other critical information documenting lupus nephritis, such as histologic reports from kidney biopsies and prior medical history narratives, require sophisticated text processing to mine information from pathology reports and clinical notes. In this study, we developed algorithms to identify lupus nephritis with and without natural language processing (NLP) using EHR data. We developed four algorithms: a rule-based algorithm using only structured data (baseline algorithm) and three algorithms using different NLP models. The three NLP models are based on regularized logistic regression and use different sets of features including positive mention of concept unique identifiers (CUIs), number of appearances of CUIs, and a mixture of three components respectively. The baseline algorithm and the best performed NLP algorithm were external validated on a dataset from Vanderbilt University Medical Center (VUMC). Our best performing NLP model incorporating features from both structured data, regular expression concepts, and mapped CUIs improved F measure in both the NMEDW (0.41 vs 0.79) and VUMC (0.62 vs 0.96) datasets compared to the baseline lupus nephritis algorithm.

연구 동기 및 목표

• 전자 건강 기록(EHR)에서 루푸스 신염 표현형을 자연어 처리(NLP)를 활용해 향상시키기 위해.
• EHR의 구조화된 데이터와 절차 코드에만 의존하는 데서 비롯하는 한계를 극복하기 위해.
• 비정형 임상 텍스트—특히 생검 보고서와 서술형 노트—를 루푸스 신염 표현형 분류에 통합하기 위해.
• 벤슨대학교 의료센터에서 확보한 외부 데이터셋을 활용해 NLP 강화 알고리즘의 성능을 검증하기 위해.
• 대규모 관찰 연구 및 임상 시험을 지원하기 위해, EHR 내 루푸스 신염의 정확하고 확장 가능한 표현형 분류를 가능하게 하기 위해.

제안 방법

• 구조화된 EHR 데이터(예: 절차 코드, 검사 결과 등)만을 사용한 기준 규칙 기반 알고리즘을 개발했다.
• 다양한 특징 집합을 사용한 정규화된 로지스틱 회귀 모델을 3개 구축: (1) CUI의 긍정적 언급, (2) CUI 빈도, (3) CUI 언급, 빈도, 및 정규 표현식 매칭의 하이브리드.
• 서술형 텍스트 내 임상 개념을 통합 의학 어휘 체계(UMLS)의 개념 고유 식별자(CUI)로 매핑하여 표준화했다.
• 임상 노트 및 병리 보고서에서 루푸스 신염 관련 키워드를 탐지하기 위해 정규 표현식을 적용했다.
• 라벨이 부여된 EHR 데이터를 기반으로 로지스틱 회귀 모델을 훈련 및 최적화하여 환자가 루푸스 신염이 있는지 여부를 분류했다.
• 벤슨대학교 의료센터(VUMC)에서 확보한 독립적인 데이터셋을 활용해 최고 성능을 보인 NLP 모델을 검증하여 일반화 능력을 평가했다.

실험 결과

연구 질문

• RQ1 구조화된 데이터에만 의존하는 규칙 기반 방법과 비교해, NLP 기법이 EHR 내 루푸스 신염 표현형 분류 정확도를 향상시킬 수 있는가?
• RQ2 CUI 언급, CUI 빈도, 또는 하이브리드 특징 중 어떤 조합이 루푸스 신염 탐지에서 가장 높은 성능을 낼 수 있는가?
• RQ3 최고 성능을 보인 NLP 모델의 성능이, 벤슨대학교 의료센터에서 확보한 외부 독립적인 EHR 데이터셋으로 일반화되는가?
• RQ4 비정형 임상 노트 및 병리 보고서가 구조화된 데이터를 초월해 정확한 루푸스 신염 식별에 얼마나 기여하는가?
• RQ5 언어 패턴과 표준화된 의료 개념(CUI)을 모두 포함한 하이브리드 NLP 모델이, 단일 유형의 특징만 사용하는 모델보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• CUI 언급, CUI 빈도, 및 정규 표현식 매칭을 조합한 최고 성능의 NLP 모델은 외부 검증 데이터셋인 벤슨대학교 의료센터(VUMC)에서 F-측정치 0.96을 기록했다.
• 이 NLP 모델은 동일한 VUMC 데이터셋에서 F-측정치 0.62를 기록한 기준 규칙 기반 알고리즘을 크게 능가했다.
• NMEDW 데이터셋에서 최고의 NLP 모델은 F-측정치 0.79를 기록했으며, 기준 알고리즘은 0.41을 기록했다.
• 구조화된 데이터와 임상 노트 및 병리 보고서에서 NLP로 추출한 특징을 함께 사용함으로써 표현형 분류 성능이 크게 향상되었다.
• CUI와 정규 표현식의 사용은 비정형 텍스트에서 루푸스 신염 관련 개념을 효과적으로 추출하는 데 기여했다.
• 결과는 NLP가 임상 EHR 콘텐츠에 통합된 중요한 진단 정보가 서술되어 있을 경우 표현형 분류의 격차를 효과적으로 메울 수 있음을 보여준다.