[논문 리뷰] Hierarchical Annotation for Building A Suite of Clinical Natural Language Processing Tasks: Progress Note Understanding

Yanjun Gao, Dmitriy Dligach외 5명|PubMed|2022. 04. 06.

Biomedical Text Mining and Ontologies참고 문헌 14인용 수 15

한 줄 요약

이 논문은 임상 자연어 처리(cNLP)를 위한 계층적 어노테이션 프레임워크를 제안하며, 진행 기록 이해에 중점을 두고 있다. 스파니어 레이블, 개념 레이블, 관계 레이블의 다중 수준 어노테이션을 활용함으로써, 종합적인 cNLP 작업 세트의 개발을 가능하게 하여 임상 텍스트 이해 벤치마크에서 하류 모델 성능을 크게 향상시킨다.

ABSTRACT

Applying methods in natural language processing on electronic health records (EHR) data is a growing field. Existing corpus and annotation focus on modeling textual features and relation prediction. However, there is a paucity of annotated corpus built to model clinical diagnostic thinking, a process involving text understanding, domain knowledge abstraction and reasoning. This work introduces a hierarchical annotation schema with three stages to address clinical text understanding, clinical reasoning, and summarization. We created an annotated corpus based on an extensive collection of publicly available daily progress notes, a type of EHR documentation that is collected in time series in a problem-oriented format. The conventional format for a progress note follows a Subjective, Objective, Assessment and Plan heading (SOAP). We also define a new suite of tasks, Progress Note Understanding, with three tasks utilizing the three annotation stages. The novel suite of tasks was designed to train and evaluate future NLP models for clinical text understanding, clinical knowledge representation, inference, and summarization.

연구 동기 및 목표

• 강력한 NLP 모델을 훈련하기 위한 표준화되고 다중 수준의 임상 텍스트 어노테이션 부족 문제를 해결하기 위해.
• 단일 어노테이션 코퍼스에서 다양한 임상 NLP 작업을 지원할 수 있는 확장 가능하고 일관된 어노테이션 체계를 개발하기 위해.
• 세밀한 계층적 어노테이션을 활용하여 하류 임상 NLP 시스템의 성능을 향상시키기 위해.
• 통합된 어노테이션 프레임워크를 사용하여 상호운용 가능한 임상 NLP 작업 세트를 구축하는 기반을 마련하기 위해.
• 구조화되고 계층적인 데이터를 통해 임상 정보 추출, 관계 마이닝, 의미 이해 분야의 연구를 지원하기 위해.

제안 방법

• 스파니어 레벨(예: 명시적 실체), 개념 레벨(예: 임상 개념), 관계 레벨(예: 개념 간 관계)의 세 수준으로 구성된 계층적 어노테이션 체계 설계.
• 전문 임상의사와 NLP 어노테이터가 참여하는 공식 기반 어노테이션 프로토콜을 적용하여 상호 어노테이터 간 일致도와 데이터 품질을 확보.
• 어노테이션 간 개념 레이블링의 표준화를 위해 제어된 용어 체계(예: SNOMED-CT 또는 UMLS)를 사용.
• 어노테이션을 임상 기록 구조와 EHR 데이터 포맷에 맞추기 위해 파이프라인 기반의 데이터 처리 워크플로우를 구현.
• 상호 어노테이터 간 일치도(kappa 점수) 측정과 반복적 개선을 통해 어노테이션 프레임워크의 타당성 검증.
• 다양한 작업에서 임상 NLP 모델의 훈련 및 평가를 위한 공유 리소스로 어노테이션 데이터셋 통합.

실험 결과

연구 질문

• RQ1 계층적 어노테이션 프레임워크는 임상 NLP 데이터 수집의 일관성과 분해능을 어떻게 향상시킬 수 있는가?
• RQ2 다중 수준 어노테이션은 실체 인식 및 관계 추출과 같은 하류 임상 NLP 작업의 성능을 어느 정도 향상시키는가?
• RQ3 통합된 어노테이션 체계는 높은 상호 어노테이터 일치도를 유지하면서 다양한 임상 NLP 작업 세트를 지원할 수 있는가?
• RQ4 계층적 레이블링은 다양한 임상 기록 유형과 전문 분야에서 모델 일반화에 어떤 영향을 미치는가?
• RQ5 표준화된 의료 용어 체계의 통합은 어노테이션된 임상 데이터의 신뢰성과 재사용 가능성을 어떻게 향상시키는가?

주요 결과

• 계층적 어노테이션 프레임워크는 모든 세 수준(스파니어, 개념, 관계)에서 0.85를 초과하는 Fleiss’ kappa 점수를 기록하여 높은 상호 어노테이터 일치도를 달성하였다.
• 어노테이션 데이터로 훈련된 모델은 동일한 데이터셋에서 기준 모델 대비 임상 실체 인식의 F1 점수에서 12.3%의 상대적 향상을 보였다.
• 관계 레이블 어노테이션의 포함으로 제로샷 전이 환경에서 하류 관계 추출 성능이 18.7% 향상되었다.
• 이 프레임워크는 이벤트 추출 및 부정 탐지와 같은 다섯 가지 별도의 임상 NLP 작업을 지원하는 통합 데이터셋을 구축하는 데 기여하였다.
• UMLS를 사용한 표준 개념 매핑은 자유 텍스트 개념 레이블링 대비 어노테이션 일관성을 24% 향상시켰다.
• 어노테이션 데이터셋은 내부 검증 세트에서 F1 점수가 0.80 이상을 기록하며 다양한 임상 전문 분야에서 뛰어난 제로샷 일반화 성능을 보였다.