[논문 리뷰] NILE: Fast Natural Language Processing for Electronic Health Records

Sheng Yu, Tianrun Cai외 1명|arXiv (Cornell University)|2013. 11. 23.

Topic Modeling참고 문헌 40인용 수 26

한 줄 요약

NILE는 전자건강기록(EHR)을 위한 고속, 규칙 기반 자연어 처리 패키지로, 효율적인 명명된 실체 인식을 위한 수정된 접두사 트리 알고리즘과 의미 분석을 위한 유한 상태 기계를 사용한다. cTAKES 및 MedTagger와 같은 기존 도구보다 처리 속도가 수백~수천 배 빠르며, 2010년 i2b2/VA 챌린지의 최고 성능을 보인 머신러닝 모델과 유사한 정확도를 확보한다.

ABSTRACT

Objective: Narrative text in Electronic health records (EHR) contain rich information for medical and data science studies. This paper introduces the design and performance of Narrative Information Linear Extraction (NILE), a natural language processing (NLP) package for EHR analysis that we share with the medical informatics community. Methods: NILE uses a modified prefix-tree search algorithm for named entity recognition, which can detect prefix and suffix sharing. The semantic analyses are implemented as rule-based finite state machines. Analyses include negation, location, modification, family history, and ignoring. Result: The processing speed of NILE is hundreds to thousands times faster than existing NLP software for medical text. The accuracy of presence analysis of NILE is on par with the best performing models on the 2010 i2b2/VA NLP challenge data. Conclusion: The speed, accuracy, and being able to operate via API make NILE a valuable addition to the NLP software for medical informatics and data science.

연구 동기 및 목표

• 비정형 EHR 서술문에서 구조화된 정보를 추출하기 위한 확장성 있고 효율적인 NLP 도구의 증가하는 수요를 해결하기 위해.
• 처리 속도는 뛰어나면서도 높은 정확도를 유지하는 고성능 NLP 시스템을 개발하기 위해.
• 다양한 EHR 데이터 시스템을 다루는 데이터 과학자들이 사용할 수 있도록 Java 패키지와 API를 통한 융통성 있는 프로그래밍 기반 NLP 솔루션을 제공하기 위해.
• 현상범위 연관 연구와 같은 대규모 EHR 분석을 가능하게 하기 위해 처리 병목 현상을 최소화하기 위해.
• 학습 데이터가 제한된 상황에서 특히 유용한 데이터 소비가 많은 머신러닝 모델에 대한 강력한 규칙 기반 대안을 제공하기 위해.

제안 방법

• NILE는 의료 용어에서 공통된 접두사와 접미사를 효율적으로 탐지할 수 있도록 수정된 접두사 트리 검색 알고리즘을 사용하여 사전 기반의 명명된 실체 인식을 빠르게 수행한다.
• 부정, 위치, 수정, 가족력, 조건부 상태 탐지 등 의미 분석을 위해 규칙 기반 유한 상태 기계를 사용한다.
• 프로그래밍 가능한 API를 갖춘 Java 패키지로 구현되어 있어 EHR 데이터 추출을 위한 맞춤형 데이터 파이프라인에 통합될 수 있다.
• 표준 및 커스터마이징된 규칙 세트를 모두 지원하며, 조정된 신호어 논리로 구성된 2010년 i2b2/VA 챌린지 전용 버전도 포함한다.
• 대용량 사전(예: UMLS)을 사용하더라도 성능 저하가 최소화되는 고처리량 설계를 하였다.
• 로컬 시스템에서 성능을 향상시키기 위해 멀티스레드 Windows 실행 파일 버전도 제공한다.

실험 결과

연구 질문

• RQ1 EHR의 NLP 처리 속도를 정확도를 희생시키지 않고 어떻게 크게 향상시킬 수 있는가?
• RQ2 규칙 기반 의미 분석이 임상 텍스트 분류에서 머신러닝 모델의 성능을 어느 정도 따라잡을 수 있는가?
• RQ3 가벼운 API 기반 NLP 패키지가 UIMA와 같은 복잡한 GUI 기반 프레임워크보다 실제 EHR 데이터 파이프라인에서 더 뛰어난 성능을 보일 수 있는가?
• RQ4 NILE은 임상 노트에서 복잡한 언어적 신호, 예를 들어 부정, 가정적 진술, 조건부 존재 등을 어떻게 처리하는가?
• RQ5 대규모 EHR NLP 시스템에서 사전 크기가 처리 속도에 어떤 영향을 미치는가?

주요 결과

• NILE는 cTAKES보다 2,000배, MedTagger보다 400배 더 빠른 속도로 EHR 텍스트를 처리하며, 사전 크기에 따라 처리 속도가 크게 영향을 받지 않는다.
• 2010년 i2b2/VA 챌린지 테스트 세트에서 존재 여부 분류의 F1 스코어는 'present'의 경우 0.954, 'absent'의 경우 0.934로, 최고 성능을 보인 머신러닝 모델과 동등하거나 이를 초월한다.
• NILE의 의미 분석은 'someone_else'의 경우 F1 스코어 0.954, 'hypothetical'의 경우 0.860을 기록하여 복잡한 임상 상태에서도 뛰어난 성능을 보였다.
• 'conditional'과 'possible' 상태의 정확도는 각각 0.355와 0.627로 다른 카테고리보다 낮았지만, 여전히 규칙 기반 시스템의 기대 수준 내에 있었다.
• 처리 시간의 대부분은 NLP 처리가 아닌 I/O에 의해 결정되며, 이는 NILE의 핵심 엔진이 매우 최적화되어 있고 I/O가 현재의 병목 요소임을 시사한다.
• NILE의 융통성은 2010년 i2b2/VA 챌린지의 레이블링 논리에 맞게 조정 가능한 능력을 통해 입증되었으며, 연구 통합에 유용함을 보여준다.