[논문 리뷰] Document distance for the automated expansion of relevance judgements for information retrieval evaluation

Diego Mollá, Iman Amini외 1명|arXiv (Cornell University)|2015. 01. 01.

Information Retrieval and Search Behavior인용 수 2

한 줄 요약

이 논문은 제한된 관련성 평가(주로 긍정 평가)를 문서 간 거리 기반 방법을 통해 자동으로 확장하는 방법을 제안한다. OHSUMED과 TREC-8에서 평가한 결과, 초기 평가가 부족할 경우에도 검색 평가의 신뢰도가 크게 향상됨.

ABSTRACT

This paper reports the use of a document distance-based approach to automatically expand the number of available relevance judgements when these are limited and reduced to only positive judgements. This may happen, for example, when the only available judgements are extracted from a list of references in a published review paper. We compare the results on two document sets: OHSUMED, based on medical research publications, and TREC-8, based on news feeds. We show that evaluations based on these expanded relevance judgements are more reliable than those using only the initially available judgements, especially when the number of available judgements is very limited.

연구 동기 및 목표

• 정보 검색 평가에서 제한된 관련성 평가, 특히 긍정 평가만 존재할 경우의 과제를 해결하기 위해.
• 사용 가능한 관련성 평가 수가 매우 적을 경우 검색 시스템 평가의 신뢰도를 향상시키기 위해.
• 문서 거리 기법이 추가로 의미 있는 관련성 평가를 효과적으로 생성할 수 있는지 탐색하기 위해.
• 확장된 평가가 검색 평가 지표의 탄력성과 정확성에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• 기존 관련성 평가가 내림받은 문서들과 의미적으로 유사한 문서를 식별하기 위해 문서 거리 측정 기반 기법을 활용한다.
• 문서 간 유사도 점수를 이용해 이전에 레이블이 지정되지 않은 문서에 대해 새로운 관련성 평가를 유추한다.
• 긍정적으로 평가된 문서와 의미 공간에서 가까운 문서에 관련성 점수를 할당하여 초깃점수 집합을 확장한다.
• OHSUMED(의학 연구) 및 TREC-8(뉴스 피드)와 같은 두 가지 벤치마크 컬렉션에 이 방법을 적용한다.
• 기존 평가에만 기반한 기준 평가와 대비하여 검색 성능 지표를 비교함으로써 확장된 평가를 평가한다.
• 확장된 평가 집합과 원래 평가 집합을 기반으로 한 결과의 신뢰도를 평가하기 위해 표준 정보 검색 평가 지표를 사용한다.

실험 결과

연구 질문

• RQ1 희소한 초깃점수 집합에서 문서 거리 기법을 통해 추가 관련성 평가를 효과적으로 유추할 수 있는가?
• RQ2 확장된 관련성 평가를 사용할 경우 기존의 희소한 평가에 비해 검색 평가의 신뢰도가 어떻게 향상되는가?
• RQ3 의료 및 뉴스 기반 코퍼스와 같은 다양한 문서 컬렉션 간에 확장된 평가의 성능 향상 정도가 다를까?
• RQ4 매우 제한된 관련성 데이터로 인한 편향과 불안정성을 이 방법이 어느 정도 완화하는가?

주요 결과

• 확장된 관련성 평가를 기반으로 한 평가는 초깃점수 집합만을 사용한 평가보다 더 높은 신뢰도를 보였다.
• 초기 관련성 평가 수가 매우 적을 경우 평가의 신뢰도 향상 효과가 가장 두드러졌다.
• 이 방법은 의미적 유사도를 활용하여 관련성 평가를 성공적으로 확장하여 평가 집합의 대표성 향상을 이뤘다.
• 이 방법은 OHSUMED과 TREC-8 양쪽 모두에서 일관된 이점을 보이며 다양한 문서 컬렉션에 광범위하게 적용 가능함을 시사했다.
• 문서 거리 기법을 통해 수동 레이블링 없이도 의미 있는 관련성 데이터 확장을 가능하게 했다.