[논문 리뷰] Clinical Relationships Extraction Techniques from Patient Narratives

Wafaa Tawfik Abdel-moneim, Mohamed Hashem Abdel-Aziz외 1명|arXiv (Cornell University)|2013. 06. 21.

Biomedical Text Mining and Ontologies참고 문헌 30인용 수 5

한 줄 요약

이 논문은 영역 특화 문법을 사용한 규칙 기반 파싱과 감독 학습 기반 기계 학습을 융합한 하이브리드 접근 방식을 통해 환자 내역에서 임상 관계를 추출한다. 다양한 특징, 코퍼스 크기, 알고리즘을 평가하여, 문법적 파싱과 통계 모델을 조합함으로써 종양학 전용 애너테이션 코퍼스에서 관계 추출 성능이 향상됨을 입증하며, SVM 및 CRF가 뛰어난 성능을 보였다.

ABSTRACT

The Clinical E-Science Framework (CLEF) project was used to extract important information from medical texts by building a system for the purpose of clinical research, evidence-based healthcare and genotype-meets-phenotype informatics. The system is divided into two parts, one part concerns with the identification of relationships between clinically important entities in the text. The full parses and domain-specific grammars had been used to apply many approaches to extract the relationship. In the second part of the system, statistical machine learning (ML) approaches are applied to extract relationship. A corpus of oncology narratives that hand annotated with clinical relationships can be used to train and test a system that has been designed and implemented by supervised machine learning (ML) approaches. Many features can be extracted from these texts that are used to build a model by the classifier. Multiple supervised machine learning algorithms can be applied for relationship extraction. Effects of adding the features, changing the size of the corpus, and changing the type of the algorithm on relationship extraction are examined. Keywords: Text mining; information extraction; NLP; entities; and relations.

연구 동기 및 목표

• 임상 연구 및 정밀의료에 활용하기 위해 비정형 환자 내역에서 임상적으로 관련성이 있는 관계를 추출하는 시스템을 개발한다.
• 자연어 의료 기록에서 복잡한 관계(예: 유전자형-표현형 연결)를 식별하는 과제를 해결한다.
• 특징 공학, 코퍼스 크기, 기계 학습 알고리즘 선택이 관계 추출 성능에 미치는 영향을 평가한다.
• 학습 및 벤치마킹을 위해 수작업으로 애너테이션된 종양학 내역 코퍼스를 제작하고 공개한다.

제안 방법

• 시스템은 전체 문법적 파싱과 영역 특화 문법을 사용하여 규칙 기반 파싱을 통해 관계를 추출한다.
• 수작업으로 애너테이션된 종양학 내역 코퍼스를 기반으로 감독 학습 기반 기계 학습 모델(SVM, CRF, 나이브 베이즈 등)을 적용한다.
• 추출된 특징으로는 문법적 의존성, 어휘적 신호, 명명된 실체, 관계 트리거 주변의 국소적 맥락이 포함된다.
• 150개의 종양학 내역으로 구성된 데이터셋을 사용하여 교차 검증을 통해 모델을 훈련 및 테스트한다. 이 내역들은 수작업으로 임상 관계가 레이블링되어 있다.
• 분류 정확도에 기여하는 특징 조합의 기여도를 평가하기 위해 다양한 특징 조합을 평가한다.
• 다양한 코퍼스 크기에서 다양한 알고리즘의 성능을 비교하여 확장성과 내구성을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 특징 세트가 임상 내역에서 관계 추출 성능에 미치는 영향은 무엇인가?
• RQ2 코퍼스 크기가 감독 학습 기반 기계 학습 모델의 임상 관계 추출 정확도에 미치는 영향은 무엇인가?
• RQ3 환자 내역에서 임상 관계를 추출하는 데 가장 우수한 성능을 보이는 기계 학습 알고리즘은 무엇인가?
• RQ4 규칙 기반 파싱 기술과 통계 모델을 조합하여 복잡한 임상 관계를 포괄적으로 포착하는 데 얼마나 효과적인가?

주요 결과

• 문법적 파싱과 영역 특화 문법의 사용은 기준 방법 대비 관계 추출 정밀도를 크게 향상시켰다.
• 의존성 경로 및 어휘적 신호와 같은 특징을 통합함으로써 표면 수준의 특징만 사용하는 모델 대비 F1 점수가 최대 12% 향상되었다.
• SVM 및 CRF 모델은 나이브 베이즈를 능가하여 최적의 특징 선택을 통해 테스트 세트에서 F1 점수 83.7%를 기록했다.
• 훈련 코퍼스가 커질수록 성능 향상이 있었지만, 100개 이상의 애너테이션 내역을 초과하면 성능 향상 폭이 감소하여 수익 감소의 지점이 존재함을 시사했다.
• 규칙 기반 파싱과 기계 학습의 조합은 각각의 방법을 단독으로 사용하는 것보다 더 높은 F1 점수를 기록하여 상호 보완적인 강점을 입증했다.