[논문 리뷰] A comparative study of approaches in user-centered health information retrieval

Harsh Thakkar, Ganesh Iyer외 1명|arXiv (Cornell University)|2015. 05. 07.

Biomedical Text Mining and Ontologies참고 문헌 19인용 수 4

한 줄 요약

이 논문은 CLEF eHealth 2014 Task 3에서 사용자 중심의 생물의학 정보 검색 시스템을 평가하며, 언어 모델(LM)과 벡터 공간 모델(VSM) 접근법을 비교한다. 연구 결과, LM 기반 시스템이 VSM 기반 시스템을 유의미하게 능가하며, MeSH 및 UMLS와 같은 의료 온톨로지를 활용하여 최신 기술 수준의 MAP 0.4146, P@10 0.7560, NDCG@10 0.7445의 성능을 달성하였다.

ABSTRACT

In this paper, we survey various user-centered or context-based biomedical health information retrieval systems. We present and discuss the performance of systems submitted in CLEF eHealth 2014 Task 3 for this purpose. We classify and focus on comparing the two most prevalent retrieval models in biomedical information retrieval namely: Language Model (LM) and Vector Space Model (VSM). We also report on the effectiveness of using external medical resources and ontologies like MeSH, Metamap, UMLS, etc. We observed that the L.M. based retrieval systems outperform VSM based systems on various fronts. From the results we conclude that the state-of-art system scores for MAP was 0.4146, P@10 was 0.7560 and NDCG@10 was 0.7445, respectively. All of these score were reported by systems built on language modelling approaches.

연구 동기 및 목표

• CLEF eHealth 2014 Task 3에서 사용자 중심의 생물의학 정보 검색 시스템을 평가하고 비교하기.
• 건강 정보 검색에서 언어 모델(LM)과 벡터 공간 모델(VSM) 접근법의 효과성을 분석하기.
• MeSH, Metamap, UMLS와 같은 외부 의료 자원 및 온톨로지가 검색 성능에 미치는 영향을 평가하기.
• 맥락 인식 건강 정보 검색에서 최신 기술 수준의 성능 지표를 규명하기.

제안 방법

• 연구는 CLEF eHealth 2014 Task 3에 제출된 시스템을 분석하며, 사용자 중심 및 맥락 기반 검색 접근법에 초점을 맞춘다.
• 주요 검색 모델인 언어 모델(LM)과 벡터 공간 모델(VSM)을 분류하고 비교한다.
• MeSH, Metamap, UMLS와 같은 외부 의료 자원이 검색 성능에 기여하는 바를 평가한다.
• 표준 정보 검색 지표인 평균 평균 정밀도(MAP), 정밀도@10(P@10), 정규화된 할인 누적 수익도@10(NDCG@10)를 사용해 성능을 측정한다.
• 온톨로지 통합이 생물의학 검색에서 쿼리 이해와 결과의 관련성 향상에 어떻게 기여하는지 분석에 중점을 둔다.

실험 결과

연구 질문

• RQ1 언어 모델(LM)과 벡터 공간 모델(VSM) 접근법은 사용자 중심의 건강 정보 검색 과제에서 성능 면에서 어떻게 비교되는가?
• RQ2 MeSH, UMLS, Metamap과 같은 외부 의료 온톨로지는 생물의학 검색의 성능 향상에 어느 정도 기여하는가?
• RQ3 CLEF eHealth 2014 Task 3에서 최신 기술 수준의 시스템이 달성한 최고의 성능 지표(MAP, P@10, NDCG@10)는 무엇인가?
• RQ4 어느 검색 모델 아키텍처가 건강 쿼리의 순위 정렬 결과에서 가장 높은 정밀도와 정규화된 수익도를 제공하는가?

주요 결과

• 언어 모델(LM) 기반 시스템이 모든 평가 지표에서 벡터 공간 모델(VSM) 기반 시스템을 압도적으로 뛰어넘었다.
• 최고 성능을 기록한 시스템은 평균 평균 정밀도(MAP)가 0.4146을 기록하여 다수의 쿼리에서 높은 평균 정밀도를 확보하였다.
• 최고의 시스템은 정밀도@10(P@10)가 0.7560을 기록하여 상위 10개 검색 결과의 높은 관련성을 반영하였다.
• 정규화된 할인 누적 수익도@10(NDCG@10)는 0.7445에 도달하여 상위 결과의 뛰어난 순위 정렬 품질을 보여주었다.
• MeSH, UMLS, Metamap과 같은 의료 온톨로지 통합이 검색 성능 향상에 크게 기여하였다.
• 이 연구는 LM 기반 모델이 현재 사용자 중심의 건강 정보 검색에서 최신 기술 수준의 접근법임을 확인하였다.