[논문 리뷰] Improving Clinical Document Understanding on COVID-19 Research with Spark NLP

Veysel Kocaman, David Talby|arXiv (Cornell University)|2020. 12. 07.

Machine Learning in Healthcare참고 문헌 23인용 수 4

한 줄 요약

이 논문은 Spark NLP 기반으로 구축된 확장성 있고 고정확도의 임상 NLP 파이프라인을 제시하며, 코로나19 연구에서 임상 문서 이해를 향상시킵니다. 이 파이프라인은 100개 이상의 엔티티 유형을 인식하고, 상태(존재, 부재, 조건부, 타인)를 최신 기술 수준의 성능으로 탐지함으로써 효과적으로 작동합니다. 시스템은 사전 훈련된 Bi-LSTM-CNN-Char 모델을 활용하며 분산 클러스터를 통해 효율적으로 확장되어 CORD-19 데이터셋으로부터 구조화된 통찰을 신속하고 정확하게 추출할 수 있습니다.

ABSTRACT

Following the global COVID-19 pandemic, the number of scientific papers studying the virus has grown massively, leading to increased interest in automated literate review. We present a clinical text mining system that improves on previous efforts in three ways. First, it can recognize over 100 different entity types including social determinants of health, anatomy, risk factors, and adverse events in addition to other commonly used clinical and biomedical entities. Second, the text processing pipeline includes assertion status detection, to distinguish between clinical facts that are present, absent, conditional, or about someone other than the patient. Third, the deep learning models used are more accurate than previously available, leveraging an integrated pipeline of state-of-the-art pretrained named entity recognition models, and improving on the previous best performing benchmarks for assertion status detection. We illustrate extracting trends and insights, e.g. most frequent disorders and symptoms, and most common vital signs and EKG findings, from the COVID-19 Open Research Dataset (CORD-19). The system is built using the Spark NLP library which natively supports scaling to use distributed clusters, leveraging GPUs, configurable and reusable NLP pipelines, healthcare specific embeddings, and the ability to train models to support new entity types or human languages with no code changes.

연구 동기 및 목표

• 비구조화된 코로나19 과학 문헌의 급격히 증가하는 볼륨에서 실질적인 임상 통찰을 추출하는 데 도전하는 것.
• 표준 생물의학 용어 외에도 사회적 건강 결정 요인과 부작용과 같은 다양한 엔티티 유형을 인식함으로써 임상 텍스트 마이닝을 향상시키는 것.
• 존재, 부재, 조건부, 타인과 관련된 임상 사실을 구분할 수 있는 견고한 주장 상태 탐지 시스템을 구현하는 것.
• 분산 추론과 다국어 배포를 지원하며 최소한의 코드 변경으로도 생산 환경에 적합한 NLP 파이프라인을 Spark NLP를 사용해 구축하는 것.
• CORD-19 데이터셋에서 공통 증상, 생체 징후, 심전도 소견과 같은 의미 있는 추세를 추출하는 데 파이프라인의 유용성을 입증하는 것.

제안 방법

• 이 시스템은 임상 및 생물의학 데이터셋으로 사전 훈련된 Bi-LSTM-CNN-Char 딥 러닝 아키텍처를 사용하여 명명된 엔티티 인식(NER)을 수행합니다.
• 임상 엔티티의 맥락적 관련성을 기반으로 환자에 대한 정보를 분류하기 위해 Bi-LSTM 기반의 주장 상태 탐지 모듈을 통합합니다.
• 파이프라인은 Spark NLP 라이브러리를 사용하여 클러스터 전역에서 분산 처리 및 GPU 가속을 가능하게 합니다.
• 정렬된 데이터를 사용한 미세조정을 통해 새로운 언어(예: 독일어, 스페인어)와 새로운 엔티티 유형에 대한 코드 제로 확장을 지원합니다.
• NER와 주장 탐지 단계를 Spark DataFrames에서 연결하여 통합적이고 조합 가능한 NLP 파이프라인을 구성함으로써 효율적이고 병렬 실행이 가능한 구조를 확보합니다.
• 속도와 확장성 측정을 위해 로컬 및 클러스터 배포 환경에서 CORD-19 데이터셋을 대상으로 벤치마킹을 수행하여 파이프라인을 평가합니다.

실험 결과

연구 질문

• RQ1 확장성 있는 NLP 파이프라인은 비구조화된 코로나19 문헌에서 100개 이상의 고유한 임상 및 생물의학 엔티티 유형을 인식할 수 있는가?
• RQ2 주장 상태 탐지 성능는 존재, 부재, 조건부, 타인과 관련된 임상적 상태를 얼마나 정확하게 구분할 수 있는가?
• RQ3 단일 머신 실행 대비 분산 클러스터에 배포했을 때 Spark NLP 파이프라인의 성능 확장성은 어느 정도인가?
• RQ4 정규화된 임상 엔티티와 그 주장 상태를 기반으로 CORD-19 데이터셋에서 어떤 통찰을 추출할 수 있는가?
• RQ5 재훈련 없이도 최소한의 코드 변경으로 새로운 언어와 엔티티 유형으로 파이프라인을 확장할 수 있는가?

주요 결과

• NER 모델은 벤치마크 데이터셋에서 최신 기술 수준의 성능를 기록하며, 사회적 건강 결정 요인, 해부학, 위험 요인, 부작용을 포함한 100개 이상의 엔티티 유형을 인식합니다.
• 주장 상태 탐지 모델은 새로운 SOTA 기준을 설정하여 임상 사실이 존재, 부재, 조건부 또는 타인과 관련된 것으로 정확히 분류됩니다.
• 단일 머신 대비 10개 노드 클러스터에서 실행했을 때 토큰화 속도가 20배 향상되고, NER 추론 속도는 3.5배 향상되었습니다.
• 파이프라인은 CORD-19 데이터셋으로부터 빈번한 증상, 질환, 생체 징후, 심전도 소견과 같은 의미 있는 임상 추세를 성공적으로 추출했습니다.
• Spark NLP의 모듈러 아키텍처 덕분에 새로운 언어(예: 독일어, 스페인어)와 새로운 엔티티 유형에 대해 코드 제로 확장을 지원하며 최소한의 재구성으로도 가능합니다.
• 사전 훈련된 모델을 확장성 있고 분산 가능한 파이프라인에 통합함으로써 대규모 생물의학 코퍼스에서 효율적이고 생산 수준의 임상 텍스트 마이닝이 가능해졌습니다.