[논문 리뷰] CMU LiveMedQA at TREC 2017 LiveQA: A Consumer Health Question Answering System

Yang Yuan, Jingcheng Yu외 3명|arXiv (Cornell University)|2017. 11. 15.

Topic Modeling참고 문헌 7인용 수 5

한 줄 요약

이 논문은 TREC 2017 LiveQA 의료 하위 과제를 위해 CMU에서 개발한 소비자 건강 질문 응답 시스템인 LiveMedQA를 제시한다. 이 시스템은 딥러닝 기반의 질문 유형/집중 포인트 분류기, 트리 구조의 의료 지식 그래프, 그리고 구조 인식 검색기를 사용하여 답변을 검색하고 순위를 매기며, 4점 척도에서 평균 인간 평가 점수 0.356을 기록하였다. 이는 중앙값 성능 이하에 해당한다.

ABSTRACT

In this paper, we present LiveMedQA, a question answering system that is optimized for consumer health question. On top of the general QA system pipeline, we introduce several new features that aim to exploit domain-specific knowledge and entity structures for better performance. This includes a question type/focus analyzer based on deep text classification model, a tree-based knowledge graph for answer generation and a complementary structure-aware searcher for answer retrieval. LiveMedQA system is evaluated in the TREC 2017 LiveQA medical subtask, where it received an average score of 0.356 on a 3 point scale. Evaluation results revealed 3 substantial drawbacks in current LiveMedQA system, based on which we provide a detailed discussion and propose a few solutions that constitute the main focus of our subsequent work.

연구 동기 및 목표

• 일반 도메인 질문과 상당히 다름을 보이는 소비자 건강 질문에 특화된 질문 응답 시스템을 개발하기 위해.
• 의료 실체 트리 및 속성 계층 구조와 같은 도메인 특화 지식 구조를 활용하여 답변 정확도를 향상시키기 위해.
• 특히 약물 상호작용이나 다중 실체를 포함한 복잡한 다면적 건강 질문을 다룰 때 일반 목적의 QA 시스템의 한계를 보완하기 위해.
• 오류 분석과 시스템 재설계를 통해 의료 QA 시스템의 주요 실패 원인을 특정하고 이를 완화하기 위해.

제안 방법

• 질문 유형과 의료 실체 집중 포인트를 추출하기 위해 레이블이 부여된 개발 데이터와 공개 데이터셋을 기반으로 컨volutional neural network (CNN)을 학습한다.
• 실체를 루트로, 속성(예: 증상, 치료법)을 잎으로 하여 의료 개념 계층을 유지하는 트리 구조의 의료 지식 그래프를 구성한다.
• 정규 표현식 매칭과 지식 그래프 기반의 BM25 검색을 조합한 구조 인식 검색기가 속성 유형 전용 검색 테이블을 활용한다.
• 내부 지식 기반과 외부 자료원(예: Yahoo Answers, MedlinePlus Web Service)에서 후보 답변을 검색하며, 지식 기반 결과를 우선시한다.
• 하이브리드 검색 전략을 사용하여 다수의 자료원에서 얻은 후보 답변을 통합하고 재순위 매긴다.
• 시스템은 TREC LiveQA 챌린지의 요구 사항에 따라 실시간으로 각 질문을 처리하며, 60초 이내에 1000자 이내의 답변을 생성한다.

실험 결과

연구 질문

• RQ1 의료 실체와 그 속성을 포함하는 소비자 건강 질문에 최적화된 질문 응답 시스템은 어떻게 설계할 수 있는가?
• RQ2 계층적 구조를 가진 도메인 특화 지식 그래프가 의료 QA에서 답변 검색 및 생성 성능에 얼마나 기여하는가?
• RQ3 질문 유형 및 실체 집중 포인트 분류 오류가 의료 QA 시스템의 전체 성능에 어떤 영향을 미치는가?
• RQ4 다중 실체 질의(예: 약물 상호작용)를 처리할 때 의료 QA 시스템의 주요 실패 원인은 무엇인가?

주요 결과

• LiveMedQA 시스템은 4점 척도에서 평균 인간 평가 점수 0.356을 기록하였으며, 참가 시스템 중 중앙값인 0.552 이하에 해당한다.
• 질문 유형/집중 포인트 분류 모듈에서 주요 성능 저하 요인이 밝혀졌는데, 이는 소규모이고 불균형한 학습 데이터로 인해 CNN 모델이 과적합되고 일반화 능력이 떨어지기 때문이다.
• 특히 약물 상호작용, 부작용, 금기사항을 포함한 약물 관련 질문에서는 성능이 뚜렷이 열 劣하였는데, 이는 질문당 하나의 의료 실체를 가정한다는 전제에 기인해 있다.
• 지식 기반 모듈은 BM25 또는 정확한 매칭을 통한 정확하지 않은 매칭으로 인해 오류를 유발했으며, 목표 실체가 없을 경우 유사하지만 잘못된 실체를 반환하였다.
• 단일 실체 가정에 의존함으로써, 테스트 세트에서 흔히 볼 수 있는 다중 실체를 포함한 복잡한 질의에서 일관되게 실패하였다.
• 이러한 한계에도 불구하고, 단일 실체 가정이 일반적으로 성립하는 질병 관련 질문에서는 뛰어난 성능을 보였다.