[논문 리뷰] Numerical Atrribute Extraction from Clinical Texts

P R Sarath, Sunil Mandhan외 1명|arXiv (Cornell University)|2015. 01. 01.

Natural Language Processing Techniques참고 문헌 1인용 수 3

한 줄 요약

이 논문은 CRF 기반의 명명된 실체 인식(NER)과 SVM 기반의 관계 추출을 사용하여 임상 퇴원 요약에서 수치적 속성과 값을 추출하기 위한 이단계 시스템을 제시한다. 이 접근 방식은 속성-값 추출에서 95%의 F-score를 달성했으며, NER와 관계 추출을 결합한 경우 87%의 F-score를 기록하여 NLP에서 토큰화와 클래스 균형 조절의 중요성을 입증한다.

ABSTRACT

This paper describes about information extraction system, which is an extension of the system developed by team Hitachi for "Disease/Disorder Template filling" task organized by ShARe/CLEF eHealth Evolution Lab 2014. In this extension module we focus on extraction of numerical attributes and values from discharge summary records and associating correct relation between attributes and values. We solve the problem in two steps. First step is extraction of numerical attributes and values, which is developed as a Named Entity Recognition (NER) model using Stanford NLP libraries. Second step is correctly associating the attributes to values, which is developed as a relation extraction module in Apache cTAKES framework. We integrated Stanford NER model as cTAKES pipeline component and used in relation extraction module. Conditional Random Field (CRF) algorithm is used for NER and Support Vector Machines (SVM) for relation extraction. For attribute value relation extraction, we observe 95% accuracy using NER alone and combined accuracy of 87% with NER and SVM.

연구 동기 및 목표

• 비구조화된 퇴원 요약에서 수치적 임상 속성(예: 혈압, 포도당)과 그에 해당하는 값을 추출하는 데 도전하는 것.
• 임상 수치 정보를 구조화하여 비전문가 사용자가 접근하고 해석할 수 있도록 EHR 데이터의 가용성과 이해 가능성을 향상시키는 것.
• 정확한 속성-값 쌍 매칭을 위한 NER와 관계 추출을 결합한 강력한 파ip라인을 개발하는 것.
• 특징 공학 및 데이터 분포가 임상 NLP 작업의 모델 성능에 미치는 영향을 조사하는 것.

제안 방법

• Stanford NLP 라이브러리를 사용하여 수동으로 주석 처리된 퇴원 요약 데이터를 기반으로 훈련한 CRF 기반의 NER 모델로 수치적 속성과 값을 식별하는 것.
• 특히 'WBC-12.8'과 같은 연자어 표현에서 문제가 되는 토큰화를 수정하기 위해 정규 표현식을 사용한 전처리.
• Apache cTAKES 프레임워크 내에서 파ip라인 구성 요소로 Stanford NER 모델을 통합하여 종단 간 처리를 수행하는 것.
• 구문적 및 맥락적 특징을 사용하여 추출된 속성과 해당 값 간의 관계를 맺는 SVM 기반의 관계 추출 모듈.
• 품사 태그, 어절 구문 분석, 속성 존재 여부, 속성-값 쌍 간의 토큰 거리 등을 포함한 특징 공학.
• 평가를 위해 문자 수준의 정확한 일치를 요구하는 100개의 훈련/36개의 테스트 데이터로 구성된 CLEF eHealth 2014 데이터를 사용하여 모델 훈련 및 평가.

실험 결과

연구 질문

• RQ1 CRF 기반의 NER 모델은 임상 퇴원 요약에서 수치적 속성과 값을 추출하는 데 얼마나 효과적인가?
• RQ2 품사, 거리, 속성 존재 여부 등의 특정 특징이 관계 추출 정확도에 어떤 영향을 미치는가?
• RQ3 훈련 데이터의 심각한 클래스 불균형—대체로 부정 샘플이 지배적인 경우—는 임상 텍스트에서 SVM 기반의 관계 추출 성능에 어떤 영향을 미치는가?
• RQ4 NER와 관계 추출을 결합하면 NER 단독 대비 전체 속성-값 쌍 매칭 정확도가 향상되는가?
• RQ5 특히 토큰화 수정을 포함한 전처리가 후속 NLP 컴포넌트의 성능에 어떤 영향을 미치는가?

주요 결과

• CRF 기반의 NER 모델은 속성과 값 추출에서 95%의 F-score를 기록하여 높은 정밀도와 재현율을 보였다.
• NER와 SVM 기반의 관계 추출을 통합한 시스템은 F-score 87%를 달성하여, 관계 모델링이 NER 단독보다 쌍 매칭 정확도를 향상시킨다는 것을 입증했다.
• 적절하지 않은 토큰화, 특히 'WBC-12.8'과 같은 연자어 표현에서의 문제는 정규 표현식 전처리를 통해 수정되지 않으면 성능을 심각하게 떨어뜨렸다.
• 훈련 데이터에서 극심한 클래스 불균형—다수의 부정 샘플—으로 인해 초기에 SVM 모델이 모든 테스트 인스턴스를 부정으로 잘못 분류했다.
• 훈련 데이터를 재균형 조정한 후 SVM 모델의 성능이 크게 향상되어, 감독 학습에서 데이터 분포가 임상 NLP에 있어 핵심적인 역할을 한다는 점을 입증했다.