[논문 리뷰] A Relation Extraction Approach for Clinical Decision Support

Maristella Agosti, Giorgio Maria Di Nunzio외 2명|arXiv (Cornell University)|2019. 05. 03.

Biomedical Text Mining and Ontologies참고 문헌 22인용 수 3

한 줄 요약

이 논문은 임상의료지원시스템에서 색인 및 검색 기능으로서 의료 개념 간의 의미적 관계를 사용하는 것을 제안한다. 규칙 기반 및 학습 기반 방법을 통해 추출된 관계를 활용함으로써 특정 쿼리에서 기준 방법 대비 정밀도가 크게 향상됨을 보여주며, 관계가 유용한 경우 평균 nDCG에서 20% 향상되나, 쿼리 길이 및 구조적 불일치로 인해 성능이 일관되지 않음.

ABSTRACT

In this paper, we investigate how semantic relations between concepts extracted from medical documents can be employed to improve the retrieval of medical literature. Semantic relations explicitly represent relatedness between concepts and carry high informative power that can be leveraged to improve the effectiveness of retrieval functionalities of clinical decision support systems. We present preliminary results and show how relations are able to provide a sizable increase of the precision for several topics, albeit having no impact on others. We then discuss some future directions to minimize the impact of negative results while maximizing the impact of good results.

연구 동기 및 목표

• 의료 개념 간 의미적 관계가 임상의료지원시스템의 검색 효과성 향상에 기여할 수 있는지 조사하기.
• 의료 문헌 기반 사례 검색의 정밀도 향상에 있어 규칙 기반 및 학습 기반 관계 추출 방법의 효과성을 비교하기.
• OHSUMED 데이터셋을 사용하여 관계 기반 색인의 검색 성능에 미치는 영향 평가하기.
• 관계가 검색 성능을 향상시키는 조건을 특정하고, 유용한 결과를 도출하지 못하는 경우를 해결하기.
• 임상 환경에서 정보검색(IR) 요구사항과 더 잘 부합하는 관계 추출의 향후 방향 탐색하기.

제안 방법

• 규칙 기반 방법은 참조 지식 기반에 존재하는 개념 쌍이 같은 문장 내에 있을 경우 그 관계를 할당한다.
• 학습 기반 방법은 의료 텍스트의 문맥적 단서를 기반으로 관계를 추론하는 문장 수준의 관계 추출기를 학습한다.
• 질문과 문서에서 추출된 관계를 사용하여 가중치 합을 통해 파assage 수준 점수를 계산한다: $\text{score}(q,d) = \sum_{p\in d} \frac{|R_p \cap R_q|}{|R_q|} \cdot \text{BM25}(p,q)$.
• 문서는 질문과 공유하는 관련 관계의 수에 따라 점수를 매기며, 파assage 검색에는 BM25를 사용한다.
• OHSUMED 컬렉션을 사용하여 nDCG를 평가하고, BoW, BoC, BoR(관계의 집합) 표현 방식을 비교한다.
• 실험은 관계 추출이 가능한 쿼리에 국한되며, 비영향도가 0이 아닌 경우에 집중한다.

실험 결과

연구 질문

• RQ1 의료 문서와 질문에서 추출된 의미적 관계가 임상의료지원 검색 시스템의 정밀도 향상에 기여할 수 있는가?
• RQ2 규칙 기반 및 학습 기반 관계 추출 방법은 임상 정보검색에서 어떤 효과성을 보이는가?
• RQ3 관계가 검색 성능을 크게 향상시키는 조건은 무엇이며, 언제 실패하는가?
• RQ4 의료 사례 기반 문헌 검색에서 관계 기반 접근이 전통적인 개념 기반 또는 용어 기반 검색보다 얼마나 뛰어나게 되는가?
• RQ5 관계 추출을 어떻게 최적화하여 낮은 자원 환경에서의 잘못된 부정 결과를 줄이고 일관성을 높일 수 있는가?

주요 결과

• 규칙 기반 방법은 OHSUMED 쿼리 106개 중 44개에서 관계를 성공적으로 추출하였으며, 이 중 39개 쿼리에서 일치하는 문서 관계를 확보하였다.
• 관계가 비영향도를 제공한 쿼리의 경우, 개념 기반 검색 대비 평균 nDCG 향상률이 20%였으며, 이는 통계적으로 유의미하였다.
• 학습 기반 방법은 오직 25개 쿼리에서 관계를 추출하였고, 이 중 12개에서 일치하는 문서를 확보하여, 쿼리 구조 및 문법적 불일치로 인해 커버리지가 낮았다.
• 관계가 정보를 제공하는 경우 기준 용어 기반 검색을 초월하였지만, 일관성 없는 결과로 전체적으로 관계와 용어 간 유의미한 차이가 없었다.
• nDCG 점수의 변동 범위가 0에서 1에 이르는 것으로, 올바르게 추출된 경우 관계의 높은 정보 잠재력을 보여주지만, 同시에 추출 품질과 쿼리 길이에 민감함을 시사한다.
• 이 연구는 짧고 서사적이지 않은 쿼리가 관계 추출을 제한함을 규명하였으며, 향후 연구는 이러한 환경에서 낮은 재현율 문제를 해결하기 위해 IR 최적화된 관계 추출에 초점을 맞춰야 한다고 제안한다.