[논문 리뷰] Implications of Inter-Rater Agreement on a Student Information Retrieval Evaluation

Philipp Schaer, Philipp Mayr외 1명|arXiv (Cornell University)|2010. 10. 09.

Information Retrieval and Search Behavior참고 문헌 9인용 수 6

한 줄 요약

이 연구는 정보 과학 학부생 73명의 관련성 평가를 바탕으로, 코워드 분석을 통한 쿼리 확장, 브래드포드라이징을 통한 재정렬, 저자 중심성 분석을 통한 문서 점수 매기기의 세 가지 메타데이터 기반 정보 검색 서비스를 평가한다. 중간 정도의 평가자 간 일치도(kappa ~0.4–0.6)에도 불구하고, 일치도 기준으로 평가 결과를 정제한 결과, 세 시스템은 서로 겹치지 않는 관련 문서 집합을 검색해 냈으며, 이는 학생 기반의 정보 검색 평가에서 평가자 신뢰도의 중요성을 시사한다.

ABSTRACT

This paper is about an information retrieval evaluation on three different retrieval-supporting services. All three services were designed to compensate typical problems that arise in metadata-driven Digital Libraries, which are not adequately handled by a simple tf-idf based retrieval. The services are: (1) a co-word analysis based query expansion mechanism and re-ranking via (2) Bradfordizing and (3) author centrality. The services are evaluated with relevance assessments conducted by 73 information science students. Since the students are neither information professionals nor domain experts the question of inter-rater agreement is taken into consideration. Two important implications emerge: (1) the inter-rater agreement rates were mainly fair to moderate and (2) after a data-cleaning step which erased the assessments with poor agreement rates the evaluation data shows that the three retrieval services returned disjoint but still relevant result sets.

연구 동기 및 목표

• 비전문가 학생 기반의 정보 검색 평가에서 평가자 간 일치도가 관련성 평가에 미치는 영향을 평가하는 것.
• 디지털 도서관에서 tf-idf의 한계를 보완하기 위해 설계된 세 가지 메타데이터 기반 검색 서비스를 평가하는 것.
• 다른 검색 메커니즘을 가진 시스템이 비전문가 학생들이 평가했을 때 서로 겹치지 않지만 관련성이 있는 문서 집합을 검색하는지 여부를 검토하는 것.
• 낮은 일치도를 보이는 관련성 평가를 제거함으로써 평가 결과의 전반적인 영향을 측정하는 것.

제안 방법

• 사전 훈련 없이 정보 과학 학부생 73명을 평가자로 활용해 관련성 평가를 수행함.
• 세 가지 검색 서비스를 적용: 코워드 분석을 통한 쿼리 확장, 브래드포드라이징을 통한 재정렬, 저자 중심성 분석을 통한 문서 점수 매기기.
• 평가자 간 일치도를 평가하기 위해 Fleiss의 Kappa를 사용하여 일관성 측정.
• 데이터 품질 향상을 위해 일치도가 낮은 평가(kappa < 0.4)를 제거하여 데이터 정제를 수행함.
• 세 시스템의 최종 검색 결과 집합 간 중복성과 관련성을 평가하기 위해 비교 분석 수행.

실험 결과

연구 질문

• RQ1 비전문가 학생들이 정보 검색 평가에서 내리는 관련성 평가는 얼마나 일관성이 있는가?
• RQ2 평가자 간 일치도가 정보 검색 평가 결과의 타당성에 어떤 영향을 미치는가?
• RQ3 세 검색 서비스는 서로 겹치는가 아니면 서로 다른 문서 집합을 반환하는가?
• RQ4 낮은 일치도를 보이는 관련성 평가를 제거하면 평가 결과에 어떤 영향을 미치는가?

주요 결과

• 73명의 학부생 평가자 간 평가자 간 일치도는 보통 수준에서 중간 정도였으며, Fleiss의 Kappa 값은 약 0.4에서 0.6 사이로 나타남.
• 낮은 일치도 평가(kappa < 0.4)를 제거한 후의 데이터는 세 검색 서비스가 거의 겹치지 않는 결과 집합을 검색해 냈음을 보여줌.
• 낮은 일치도에도 불구하고 정제된 데이터는 세 시스템 모두 관련 문서를 반환하고 있음을 시사하며, 이는 각 시스템의 상호보완적 강점이 있음을 시사함.
• 결과적으로, 적절한 데이터 정제 절차를 적용할 경우 낮은 평가자 간 일치도가 평가 결과의 타당성을 반드시 손상시키지 않는다는 점을 시사함.