[논문 리뷰] A Hybrid Citation Retrieval Algorithm for Evidence-based Clinical Knowledge Summarization: Combining Concept Extraction, Vector Similarity and Query Expansion for High Precision

Kalpana Raja, Andrew J. Sauer외 3명|arXiv (Cornell University)|2016. 09. 06.

Topic Modeling참고 문헌 1인용 수 3

한 줄 요약

이 논문은 개념 추출, 벡터 유사도, 쿼리 확장 기반의 하이브리드 인용 검색 시스템을 제안하여 임상 지식 요약의 정밀도를 향상시킨다. 이 시스템은 심부전 주제에서 F-점수 41.2%와 심방세동 주제에서 F-점수 42.4%를 기록하며 기준 모델보다 유의하게 뛰어나며, 주제당 최대 18개의 새로운 관련 인용을 검색한다.

ABSTRACT

Novel information retrieval methods to identify citations relevant to a clinical topic can overcome the knowledge gap existing between the primary literature (MEDLINE) and online clinical knowledge resources such as UpToDate. Searching the MEDLINE database directly or with query expansion methods returns a large number of citations that are not relevant to the query. The current study presents a citation retrieval system that retrieves citations for evidence-based clinical knowledge summarization. This approach combines query expansion, concept-based screening algorithm, and concept-based vector similarity. We also propose an information extraction framework for automated concept (Population, Intervention, Comparison, and Disease) extraction. We evaluated our proposed system on all topics (as queries) available from UpToDate for two diseases, heart failure (HF) and atrial fibrillation (AFib). The system achieved an overall F-score of 41.2% on HF topics and 42.4% on AFib topics on a gold standard of citations available in UpToDate. This is significantly high when compared to a query-expansion based baseline (F-score of 1.3% on HF and 2.2% on AFib) and a system that uses query expansion with disease hyponyms and journal names, concept-based screening, and term-based vector similarity system (F-score of 37.5% on HF and 39.5% on AFib). Evaluating the system with top K relevant citations, where K is the number of citations in the gold standard achieved a much higher overall F-score of 69.9% on HF topics and 75.1% on AFib topics. In addition, the system retrieved up to 18 new relevant citations per topic when tested on ten HF and six AFib clinical topics.

연구 동기 및 목표

• MEDLINE과 같은 주요 의료 문헌과 UpToDate와 같은 임상 지식 자원 간의 지식 격차를 해소하기 위해.
• 직접 MEDLINE 검색이나 기초 쿼리 확장으로 인해 발생하는 과도한 불필요한 인용 결과를 줄이기 위해.
• 증거 기반 임상 지식 요약을 위한 인용 검색 정밀도 향상시키기 위해.
• 임상 쿼리에서 핵심 임상 개념(인구집단, 간병, 비교, 질환)을 자동으로 추출하기 위해.
• 다단계 필터링 및 순위 매기기로 재현 가능성과 정밀도를 향상시키는 확장 가능한 하이브리드 검색 프레임워크 개발하기 위해.

제안 방법

• 정보 추출 프레임워크를 사용하여 임상 쿼리에서 PICO(인구집단, 간병, 비교, 결과) 개념을 추출한다.
• 동의어 및 관련 용어를 사용한 쿼리 확장을 적용하여 정밀도를 희생시키지 않은 채 재현성을 향상시킨다.
• 개념 기반 벡터 유사도를 사용하여 쿼리 개념과 인용 초록 간의 의미적 유사도를 계산한다.
• 개념 기반 스크리닝과 용어 기반 벡터 유사도를 하이브리드 순위 매기기 모델에 통합한다.
• 개념 기반 및 벡터 기반 유사도 점수의 가중 융합을 사용하여 인용을 순위 매긴다.
• 심부성과 심방세동 주제에 대해 UpToDate의 골드 표준 인용 세트를 사용하여 시스템 성능을 평가한다.

실험 결과

연구 질문

• RQ1 개념 추출, 쿼리 확장, 벡터 유사도를 통합한 하이브리드 검색 시스템이 임상 주제의 인용 검색 정밀도를 유의미하게 향상시킬 수 있는가?
• RQ2 PICO 개념 추출 통합이 기존의 키워드 기반 방법에 비해 검색 성능을 어떻게 향상시키는가?
• RQ3 쿼리 확장이 임상 인용 검색에서 재현성을 향상시키면서도 높은 정밀도를 유지하는 데 얼마나 기여하는가?
• RQ4 골드 표준 기준과 일치하는 상위-K 인용을 검색할 때 시스템의 성능은 어떠한가?
• RQ5 기존 임상 지식 자원에 존재하지 않는 새로운 관련 인용을 시스템이 식별할 수 있는가?

주요 결과

• 심부성 주제에서 F-점수 41.2%, 심방세동 주제에서 F-점수 42.4%를 기록하여, 쿼리 확장 전용 기준 모델(각각 F-점수 1.3% 및 2.2%)보다 유의미하게 뛰어난 성능을 보였다.
• 골드 표준 카운트와 일치하는 상위-K 인용을 검색할 때, 심부성 주제에서 F-점수 69.9%, 심방세동 주제에서 F-점수 75.1%를 기록하여 고우선순위 결과에서 뛰어난 성능을 보였다.
• UpToDate 골드 표준에 포함되지 않은 최대 18개의 새로운 관련 인용을 주제당 검색하여, 새로운 증거를 발견할 수 있는 능력을 입증했다.
• 개념 기반 스크리닝과 벡터 유사도를 융합한 하이브리드 접근 방식은 심부성에서 F-점수 37.5%, 심방세동에서 F-점수 39.5%를 기록하여 기준 방법보다 점진적인 향상을 보였다.
• 개념 추출과 벡터 유사도의 통합은 정밀도를 크게 향상시켜 키워드 전용 또는 확장 전용 전략에 비해 불필요한 결과를 줄였다.
• 심부성과 심방세동 주제 모두에서 다양한 임상 주제에 대해 일관된 성과를 보였으며, F-점수와 상위-K 검색 정확도에서 유의미한 향상을 보였다.