[논문 리뷰] Implicit Negative Feedback in Clinical Information Retrieval

Lorenz Kuhn, Carsten Eickhoff|arXiv (Cornell University)|2016. 07. 12.

Topic Modeling참고 문헌 10인용 수 4

한 줄 요약

이 논문은 임상 검색 쿼리 내 부정어를 통해 암시적 부정 피드백을 활용함으로써 검색 성능을 향상시키는 방법을 제안한다. 부정어를 제거하는 대신 부정 관련성 신호로 간주하여 처리함으로써, TREC CDS 트랙 데이터에서 초기 정밀도에 대한 부정의 영향을 최대 65% 감소시킨다.

ABSTRACT

In this paper, we reflect on ways to improve the quality of bio-medical information retrieval by drawing implicit negative feedback from negated information in noisy natural language search queries. We begin by studying the extent to which negations occur in clinical texts and quantify their detrimental effect on retrieval performance. Subsequently, we present a number of query reformulation and ranking approaches that remedy these shortcomings by resolving natural language negations. Our experimental results are based on data collected in the course of the TREC Clinical Decision Support Track and show consistent improvements compared to state-of-the-art methods. Using our novel algorithms, we are able to reduce the negative impact of negations on early precision by up to 65%.

연구 동기 및 목표

• 임상 검색 쿼리 내 부정어가 검색 성능에 미치는 악영향을 해결한다.
• 부정어를 단순히 제거하는 것과 비교해, 부정어를 부정 피드백으로 간주함으로써 검색 품질 향상 여부를 조사한다.
• 부정어 인식 표현을 통합한 새로운 쿼리 적응형 검색 모델을 평가한다.
• 임상 의사결정 지원 환경에서 부정어가 포함된 쿼리와 포함되지 않은 쿼리 간의 성능 격차를 정량화한다.
• 부정어 태깅과 점수 조합이 부정어의 부정적 영향을 완화하는 데 효과적인지 입증한다.

제안 방법

• BioScope 코퍼스에 기반한 조건부 랜덤 필드 모델을 훈련시켜 임상 케이스 서술문에서 부정어를 식별하기 위해 부정 감지 기법을 적용한다.
• 부정 태깅을 사용하여 부정어를 쿼리 내에서 부정 관련성 신호로 표현함으로써 제거를 방지한다.
• 별도의 양성 및 부정 쿼리 표현을 유지하고, 학습된 가중치 파rameter β를 사용해 점수를 조합하는 점수 조합 방법을 구현한다.
• P@10, nDCG, infAP, RPrec와 같은 표준 메트릭을 사용해 TREC 2014 및 2015 임상 의사결정 지원 트랙 데이터에서 검색 모델을 훈련하고 평가한다.
• 부정어가 포함된 쿼리와 포함되지 않은 쿼리에서 기준 검색 모델, 부정 필터링, 점수 조합, 부정 태깅 간 성능을 비교한다.
• 부정 태깅에는 비적응형 β를 사용하고, 점수 조합에서는 성능 향상을 위해 적응형 β를 탐색한다.

실험 결과

연구 질문

• RQ1 부정어가 포함된 임상 쿼리가 비부정어 쿼리에 비해 검색 성능에 어떤 영향을 미치는가?
• RQ2 부정어를 부정 피드백으로 간주하는 것이 단순 제거보다 검색 성능 향상에 더 효과적인가?
• RQ3 부정 필터링, 점수 조합, 부정 태깅 중 어떤 검색 방법이 다양한 쿼리 유형에서 가장 일관된 성능 향상을 이끌어내는가?
• RQ4 부정어 인식 모델이 부정어가 포함된 쿼리와 포함되지 않은 쿼리 간의 성능 격차를 어느 정도 메울 수 있는가?
• RQ5 점수 조합에서 β의 선택이 성능에 어떤 영향을 미치며, 적응형 β 선택이 추가로 성능 향상에 기여하는가?

주요 결과

• 부정어가 포함된 쿼리(D−)는 비부정어 쿼리(D+)에 비해 유의미하게 열악한 성능을 보였으며, P@10은 10.8% 감소하고 nDCG는 21.3% 감소했다.
• 부정 태깅과 점수 조합은 D−와 D+ 간 P@10 성능 격차를 65.4% 감소시켰으며, D−의 P@10은 7.1%포인트 향상되었다.
• 부정 정보가 가장 많은 주제 1에서, 점수 조합은 기준 대비 P@10에서 상대적으로 300% 향상된 성과를 기록했다.
• 부정 태깅은 모든 메트릭에서 기준 및 필터링 방법을 초월했으며, 부정어의 영향을 효과적으로 완화하면서도 성능를 유지했다.
• 최적의 β 파rameter를 사용한 점수 조합은 고부정어 쿼리에서 가장 높은 성과 향상을 이뤘지만, β의 부호와 쿼리 특성 간의 체계적 연관성은 발견되지 않았다.
• 결과적으로, 부정어를 부정 피드백으로 간주하는 것이 제거하는 것보다 더 효과적이며, 특히 복잡한 임상 쿼리의 초기 정밀도 향상에 유의미한 영향을 미친다.