[논문 리뷰] Identifying Condition-Action Statements in Medical Guidelines Using Domain-Independent Features

Hossein Hematialam, Wlodek Zadrozny|arXiv (Cornell University)|2017. 06. 13.

Biomedical Text Mining and Ontologies참고 문헌 7인용 수 6

한 줄 요약

이 논문은 수동으로 작성된 규칙에 의존하지 않고 도메인 독립적인 특징(예: 품사 태깅)을 사용하여 의료 지침에서 조건-행동 문장을 식별하기 위한 지도 학습 접근법을 제안한다. 고혈압, 천식, 비부비동염의 세 가지 새로운 주석이 추가된 임상 지침 데이터셋을 제작하고 기준 성능을 설정하였다. 랜덤 포레스트는 고혈압 데이터셋에서 F-측도 0.587, 비부비동염 데이터셋에서 0.535를 기록하여, 낮은 재현율을 보이지만 여전히 자동 추출의 가능성을 입증하였다.

ABSTRACT

This paper advances the state of the art in text understanding of medical guidelines by releasing two new annotated clinical guidelines datasets, and establishing baselines for using machine learning to extract condition-action pairs. In contrast to prior work that relies on manually created rules, we report experiment with several supervised machine learning techniques to classify sentences as to whether they express conditions and actions. We show the limitations and possible extensions of this work on text mining of medical guidelines.

연구 동기 및 목표

• 수동으로 만든 언어 규칙에 의존하지 않고 임상 지침에서 조건-행동 문장을 추출하기 위한 기계 학습 기반 방법 개발.
• 실제 임상 지침에서 유래한 고혈압, 천식, 비부비동염의 세 가지 새로운 고품질 주석 데이터셋을 제작하고 연구용도로 공개.
• 품사 태그와 같은 도메인 독립적인 특징을 사용하여 지도 분류기로 조건-행동 추출의 기준 성능 설정.
• 기존 규칙 기반 접근법과의 성능 비교를 통해 제안된 방법의 한계와 향상 가능성을 규명.
• 의미적 및 논의적 정보를 활용한 향후 개선 방안 탐색을 통해 규칙 기반 시스템과의 성능 격차를 줄이기

제안 방법

• 전문가 검증을 거쳐 임상 지침 문장을 세 클래스로 주석 처리: 조건-행동(CA), 조건-결과(CC), 조건 없음(NC).
• 도메인 특화 언어 규칙을 피하기 위해 주로 품사(POS) 태깅을 특징 집합으로 사용.
• 분류 이전에 정규표현식 기반 후보 추출을 적용하여 잠재적 조건-행동 구조 식별.
• 10겹 교차검증을 사용하여 다양한 분류기(ZeroR, 나이브 베이즈, J48, 랜덤 포레스트)를 훈련 및 평가.
• Weka를 사용해 모델 훈련 및 평가를 수행하며, 정밀도, 재현율, F-측도를 성능 지표로 사용.
• 공개 복구 가능성을 높이기 위해 주석 데이터셋을 Dropbox를 통해 배포.

실험 결과

연구 질문

• RQ1 도메인 독립적인 지도 학습 모델은 의료 지침 문장을 조건-행동, 조건-결과, 또는 조건 없음으로 효과적으로 분류할 수 있는가?
• RQ2 자동 특징 기반 분류의 성능는 기존 규칙 기반 접근법과 비교해 어떻게 다른가?
• RQ3 품사 태그만으로도 임상 지침에서 조건-행동 문장을 정확히 식별할 수 있는가?
• RQ4 새로 주석이 추가된 실제 임상 지침 코퍼스에서 기계 학습 모델의 기준 성능는 어떠한가?
• RQ5 의미적 및 논의적 특징을 활용하면 현재 모델의 성능를 향상시켜 규칙 기반 시스템과의 격차를 줄일 수 있는가?

주요 결과

• 랜덤 포레스트 분류기는 고혈압 데이터셋에서 가장 높은 F-측도 0.587을 기록하여 다른 분류기들을 압도했다.
• 비부비동염 데이터셋에서는 랜덤 포레스트 모델이 F-측도 0.535를 달성하여 중간 수준이지만 유망한 성능를 보였다.
• 나이브 베이즈와 J48 분류기는 낮은 F-측도를 보였으며, 고혈압 데이터셋에서 최고의 F-측도는 0.495였다.
• 제안된 방법의 성능는 Wenzina와 Kaiser(2013)가 보고한 규칙 기반 접근법보다 낮았다. 이들은 동일한 천식 데이터셋에서 정밀도 88%와 재현율 75%를 기록했다.
• 저자들이 자체 천식 코퍼스에 규칙 기반 방법을 적용한 결과, 재현율은 뿐만 아니라 39%에 그쳐 데이터셋 구성 및 주석 방식의 차이를 드러냈다.
• 이 연구는 순수하게 지도 학습 기반 특징 기반 학습을 사용하여 자동 조건-행동 추출의 새로운 기준 성능를 수립하였으며, 향후 연구를 지원하기 위해 공개된 데이터셋을 제공하였다.