[논문 리뷰] CliNER 2.0: Accessible and Accurate Clinical Concept Extraction

Willie Boag, Elena Sergeeva외 4명|arXiv (Cornell University)|2018. 03. 06.

Biomedical Text Mining and Ontologies참고 문헌 9인용 수 21

한 줄 요약

CliNER 2.0은 i2b2/VA 2010 벤치마크에서 최고 성능을 달성하는 워드 및 캐릭터 수준의 LSTM-CRF 모델을 사용하는 오픈소스이자 설치가 용이한 임상 개념 추출 도구입니다. F1 스코어 0.838을 기록하여 최고 성능을 내는 시스템과 동등하거나 이를 초월하며, 즉시 사용 가능한 사전 훈련된 모델과 자원이 제한된 환경을 위한 백업 CRF 모드를 제공합니다.

ABSTRACT

Clinical notes often describe important aspects of a patient's stay and are therefore critical to medical research. Clinical concept extraction (CCE) of named entities - such as problems, tests, and treatments - aids in forming an understanding of notes and provides a foundation for many downstream clinical decision-making tasks. Historically, this task has been posed as a standard named entity recognition (NER) sequence tagging problem, and solved with feature-based methods using handengineered domain knowledge. Recent advances, however, have demonstrated the efficacy of LSTM-based models for NER tasks, including CCE. This work presents CliNER 2.0, a simple-to-install, open-source tool for extracting concepts from clinical text. CliNER 2.0 uses a word- and character- level LSTM model, and achieves state-of-the-art performance. For ease of use, the tool also includes pre-trained models available for public use.

연구 동기 및 목표

• 공개된 고성능 시스템이 공모전에서 입증되었음에도 불구하고, 임상 개념 추출(CCE)을 위한 접근 가능하고 오픈소스 도구의 부족을 해결하기 위해.
• i2b2/VA 2010 CCE 벤치마크에서 최고 성능을 내거나 이를 초월하는 사용자 친화적이고 설치가 쉬운 도구를 개발하기 위해.
• 사전 정의된 사전 검색을 통한 과다 식별을 방지하고, 문제, 검사, 치료와 같은 관련 임상 개념에 집중함으로써 가짜 양성 결과를 줄이기 위해.
• 재훈련 없이도 즉시 배포 가능한 사전 훈련된 모델을 제공하여 연구자들이 접근성을 높이기 위해.
• 다양한 컴퓨팅 환경에 맞는 유연성을 확보하기 위해 딥러닝과 경량 CRF 기반 추론 모드를 모두 지원하기 위해.

제안 방법

• 풍부한 맥락 인식 단어 표현을 생성하기 위해 계층적 워드 및 캐릭터 수준의 양방향 LSTM(w+c Bi-LSTM)을 사용합니다.
• 워드 수준 표현을 위해 사전 훈련된 GloVe 임베딩을 사용하며, 캐릭터 수준의 LSTM 출력과 결합하여 형태학적 특성과 철자 변형을 포착합니다.
• 워드 및 캐릭터 수준 표현을 결합한 후, 스파닝 탐지 및 분류를 위한 Bi-LSTM-CRF 시퀀스 레이블링 프레임워크에 입력합니다.
• 두 가지 추론 모드를 지원합니다: 딥러닝 기반의 w+c LSTM-CRF 모델과 자원이 제한된 환경을 위한 UMLS 기반 특징을 활용한 경량 CRF 모델.
• 훈련 및 평가에 i2b2/VA 2010 데이터셋(16,107개 문장)을 사용하며, 주요 평가 지표로 정확한 클래스 일치를 적용합니다.
• 딥러닝 아키텍처의 일반화 능력 향상과 과적합 방지를 위해 드롭아웃과 배치 정규화를 적용합니다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 임상 개념 추출 시스템은 접근성과 설치 용이성 유지와 함께 최고 성능을 달성할 수 있는가?
• RQ2 워드 및 캐릭터 수준의 LSTM-CRF 모델은 전통적인 특징 기반 CRF 모델에 비해 F1 스코어와 OOV 및 철자 오류 항목에 대한 강건성 측면에서 어떻게 비교되는가?
• RQ3 사전 훈련된 모델이 대규모 훈련 데이터나 컴퓨팅 자원이 없는 연구자들이 접근하는 데 있어 장벽을 얼마나 낮출 수 있는가?
• RQ4 워드 중심 모델에 비해 캐릭터 수준 표현을 통합함으로써 희귀 또는 철자 오류가 발생한 임상 용어에서 성능 향상이 이루어지는가?
• RQ5 하나의 도구가 고정밀도 딥러닝 추론과 경량 CRF 기반 추론을 모두 지원함으로써 다양한 배포 환경에 적합한가?

주요 결과

• CliNER 2.0의 w+c LSTM-CRF 모델은 i2b2/VA 2010 테스트 세트에서 F1 스코어 0.838을 기록하여 2010년 공모전의 최고 성능 시스템과 동등하거나 이를 초월합니다.
• 모델은 0.836의 리콜을 기록하여 공식 2010년 i2b2 데이터셋을 기반으로 훈련된 시스템 중에서 보고된 바 중 가장 높은 리콜을 기록합니다.
• 이전 최고 성능을 기록한 Binarized Neural Embedding CRF(0.828의 F1)를 약간이지만 일관되게 초월합니다.
• 도구의 사전 훈련된 모델은 재훈련 없이도 즉각적인 추론을 가능하게 하여 임상 NLP 응용 프로그램의 접근 장벽을 크게 낮춥니다.
• UMLS 기반 특징을 활용한 백업 CRF 모드는 경쟁력 있는 성능(F1: 0.795)을 기록하여 자원이 제한된 환경에서 실용적인 대안을 제공합니다.
• 최근 모델에서 관찰된 성능 정체 현상은 i2b2/VA 2010 데이터셋에서 이 작업의 성능 한계에 도달하고 있을 가능성을 시사합니다.