[논문 리뷰] CLINIQA: A Machine Intelligence Based Clinical Question Answering System

M. A. H. Zahid, Ankush Mittal외 2명|arXiv (Cornell University)|2018. 05. 15.

Topic Modeling참고 문헌 21인용 수 9

한 줄 요약

CLINIQA는 자연어 처리, 의학용 통합어휘체계(UMLS)를 활용한 의미 분석, 그리고 지도 학습 기반의 문서 분류, 질문 초점 파악, 답변 선택을 통해 작동하는 기계지능 기반 임상 질문 응답 시스템이다. 100개의 임상 질문을 대상으로 평가한 결과, 분야 특화 히ュ리스틱과 최적화된 텍스트 마이닝 구성 요소를 통해 효과적인 성능을 보였으며, 임상 정보 검색 향상에 실용적인 접근 방식을 제시하였다.

ABSTRACT

The recent developments in the field of biomedicine have made large volumes of biomedical literature available to the medical practitioners. Due to the large size and lack of efficient searching strategies, medical practitioners struggle to obtain necessary information available in the biomedical literature. Moreover, the most sophisticated search engines of age are not intelligent enough to interpret the clinicians' questions. These facts reflect the urgent need of an information retrieval system that accepts the queries from medical practitioners' in natural language and returns the answers quickly and efficiently. In this paper, we present an implementation of a machine intelligence based CLINIcal Question Answering system (CLINIQA) to answer medical practitioner's questions. The system was rigorously evaluated on different text mining algorithms and the best components for the system were selected. The system makes use of Unified Medical Language System for semantic analysis of both questions and medical documents. In addition, the system employs supervised machine learning algorithms for classification of the documents, identifying the focus of the question and answer selection. Effective domain-specific heuristics are designed for answer ranking. The performance evaluation on hundred clinical questions shows the effectiveness of our approach.

연구 동기 및 목표

• 의료 종사자들이 광범위한 생물의학 문헌에서 정보 검색이 비효율적인 문제를 해결하기 위해.
• 임상의가 제기하는 질문을 정확히 해석하고 정밀한 답변을 검색할 수 있는 자연어 이해 시스템을 개발하기 위해.
• 질문과 의료 문서 양쪽에 대해 UMLS 기반 의미 분석을 통합하여 맥락 이해를 향상시키기 위해.
• 임상 맥락에서 문서 분류 및 답변 선택을 위해 지도 학습을 활용하기 위해.
• 효과적인 답변 순위 매기기와 시스템 최적화를 위해 분야 특화 히ュ리스틱을 설계하기 위해.

제안 방법

• 임상 질문과 생물의학 문서의 의미 정규화 및 분석을 위해 의학용 통합어휘체계(UMLS)를 활용한다.
• 후속 NLP 작업을 위한 임상 텍스트 전처리 및 표현을 위해 텍스트 마이닝 알고리즘을 적용한다.
• 관련 문서 분류 및 임상 질문의 초점 파악을 위해 지도 학습 모델을 활용한다.
• 의미적 유사성과 맥락적 관련성을 바탕으로 한 답변 선택 메커니즘을 통합한다.
• 임상적 관련성과 정밀도에 따라 후보 답변 순위를 매기기 위해 분야 특화 히ュ리스틱을 구현한다.
• 다양한 텍스트 마이닝 및 NLP 기법에 대한 철저한 평가를 통해 최적의 구성 요소를 선별한다.

실험 결과

연구 질문

• RQ1 기계지능 기반 시스템이 자연어로 표현된 임상 질문을 효과적으로 해석하고 생물의학 문헌에서 정확한 답변을 검색할 수 있는가?
• RQ2 UMLS 기반 의미 분석은 임상 질의와 문서 이해를 어떻게 향상시킬 수 있는가?
• RQ3 지도 학습과 히ュ리스틱 순위 매기기 전략의 조합 중 어떤 조합이 임상 QA에서 최적의 성능을 낼 수 있는가?
• RQ4 분야 특화 히ュ리스틱은 임상 질문 응답에서 답변 순위 매기기 정확도를 어느 정도 향상시키는가?
• RQ5 기존 검색 엔진과 비교해 실제 임상 질문에서 시스템은 어떤 성능을 보이는가?

주요 결과

• 최적화된 텍스트 마이닝 및 NLP 구성 요소 선택을 통해 100개의 임상 질문에 대해 효과적인 성능을 보였다.
• 지도 학습 모델이 문서 분류 및 질문 초점 식별에 있어 뚜렷한 향상을 이룩했다.
• UMLS 기반 의미 분석이 임상 용어와 관계의 맥락 이해를 향상시켰다.
• 분야 특화 히ュ리스틱이 검색의 정밀도 향상과 함께 답변 순위 매기기 향상에 기여했다.
• 자연어 질의를 해석하고 관련 답변을 제공하는 데서 기존의 검색 엔진을 능가하는 성능을 보였다.
• 평가 결과, 기계학습과 규칙 기반 히ュ리스틱을 융합한 하이브리드 접근 방식의 타당성과 효과성이 확인되었다.