[논문 리뷰] Evaluation of Coordination Techniques in Synchronous Collaborative Information Retrieval

Colum Foley, Alan F. Smeaton|ArXiv.org|2009. 08. 06.

Recommender Systems and Techniques참고 문헌 7인용 수 5

한 줄 요약

이 논문은 분업과 지식 공유와 같은 협업 기법을 중심으로 동기화된 공동 정보 검색(Synchronous Collaborative Information Retrieval, SCIR) 시스템을 위한 시뮬레이션 기반 평가 방법론을 제안한다. 시스템이 중재하는 분업 기법이 결과의 다양성과 관련성 증가를 통해 독립적 또는 비협력적인 검색보다 훨씬 뛰어난 그룹 검색 효과성을 높임을 입증한다.

ABSTRACT

Traditional Information Retrieval (IR) research has focussed on a single user interaction modality, where a user searches to satisfy an information need. Recent advances in web technologies and computer hardware have enabled multiple users to collaborate on many computer-supported tasks, therefore there is an increasing opportunity to support two or more users searching together at the same time in order to satisfy a shared information need, which we refer to as Synchronous Collaborative Information Retrieval (SCIR). SCIR systems represent a significant paradigmatic shift from traditional IR systems. In order to support effective SCIR, new techniques are required to coordinate users' activities. In addition, the novel domain of SCIR presents challenges for effective evaluations of these systems. In this paper we will propose an effective and re-usable evaluation methodology based on simulating users searching together. We will outline how we have used this evaluation in empirical studies of the effects of different division of labour and sharing of knowledge techniques for SCIR.

연구 동기 및 목표

• 동기화 공동 정보 검색(Synchronous Collaborative Information Retrieval, SCIR) 시스템에 대한 효과적인 평가 방법론의 부족을 해결하기 위해.
• 시스템이 중재하는 협업 기법—예를 들어 분업과 지식 공유—이 그룹 검색 성능을 어떻게 향상시키는지 조사하기 위해.
• 실시간으로 두 사용자 간 협업을 모델링하는 재사용 가능한 시뮬레이션 기반 평가 프레임워크를 개발하기 위해.
• 개별 성능을 넘어서 그룹의 효과성을 측정하여 사용자들이 정렬한 목록에서의 관련성과 다양성을 모두 반영하기 위해.

제안 방법

• SCIR 시스템과의 상호작용을 제어하기 위해 매개변수화된 사용자 모델을 사용하여 두 사용자가 실시간으로 협업하는 상황을 시뮬레이션한다.
• 사용자의 관련성 평가에 기반해 검색 결과를 반복적으로 개선하기 위해 점진적 관련성 피드백을 적용한다.
• 결과의 중복을 최소화하고 작업 분배를 극대화하기 위해 분업을 구현한다.
• 북마크와 공유된 관련성 평가를 통합한 공동 및 상호보완적 관련성 피드백 메커니즘을 도입한다.
• 사용자 간 신뢰 점수를 할당하여 부정확한 관련성 평가의 영향을 줄이기 위해 권한 가중치를 적용한다.
• 특정 컷오프에서 사용자들의 정렬된 목록에 포함된 고유한 관련 문서 수를 측정함으로써 그룹 효과성을 신규 지표를 사용해 측정한다.

실험 결과

연구 질문

• RQ1 시스템이 중재하는 분업 기법은 동기화 공동 검색의 효과성에 어떻게 영향을 미치는가?
• RQ2 공동 피드백을 통한 자동화된 지식 공유가 그룹 검색 결과에 어느 정도 향상 효과를 미치는가?
• RQ3 개별 관련성 평가의 오류는 공동 피드백 메커니즘의 성능에 어떤 영향을 미치는가?
• RQ4 권한 가중치 피드백은 SCIR에서 나쁜 관련성 평가의 부정적 영향을 줄일 수 있는가?
• RQ5 질의의 다양성을 극대화하는 상호보완적 관련성 피드백은 결과의 다양성과 관련성을 향상시키는가?

주요 결과

• 시스템이 중재하는 분업 기법이 그룹 검색 효과성 향상에 가장 큰 기여를 하였으며, 비협력적 또는 독립적인 검색보다 유의미하게 뛰어난 성능을 보였다.
• 분업과 지식 공유의 조합이 사용자들의 정렬된 목록에서 고유한 관련 문서 총 수를 더 높게 확보하였다.
• 공유된 북마크를 통합한 공동 관련성 피드백은 개별 피드백만으로는 성능이 떨어지지 않게 했다.
• 권한 가중치는 부정확한 관련성 평가의 영향을 줄여 공동 피드백의 내구성을 향상시켰다.
• 상호보완적 관련성 피드백은 정렬 목록의 다양성을 효과적으로 증가시켜 관련 문서의 보다 포괄적인 커버리지에 기여하였다.
• 제안된 시뮬레이션 기반 평가 방법론은 개인 성능 지표를 넘어서 그룹 수준의 성능, 즉 다양성과 관련성을 모두 효과적으로 캡처하였다.