[논문 리뷰] Assessing top-$k$ preferences

Charles L. A. Clarke, Alexandra Vtyurina외 1명|arXiv (Cornell University)|2020. 07. 22.

Mobile Crowdsensing and Crowdsourcing참고 문헌 45인용 수 4

한 줄 요약

이 논문은 평가자가 전체 순위를 평가하는 대신 상위 항목들만 비교하는 부분적 상위-$k$ 선호도 평가를 사용하여 랭킹 시스템을 평가하는 새로운 방법을 제안한다. 이 방법은 시스템의 출력과 이러한 선호도로부터 유도된 이상적 순위 간의 호환성(compatibility)을 측정함으로써, NDCG가 간과하는 현대 신경망 기반 랭커의 미세한 향상까지 감지할 수 있으며, 기존의 등급 평가에 비해 더 민감하고 실용적인 대안을 제공한다.

ABSTRACT

Assessors make preference judgments faster and more consistently than graded judgments. Preference judgments can also recognize distinctions between items that appear equivalent under graded judgments. Unfortunately, preference judgments can require more than linear effort to fully order a pool of items, and evaluation measures for preference judgments are not as well established as those for graded judgments, such as NDCG. In this paper, we explore the assessment process for partial preference judgments, with the aim of identifying and ordering the top items in the pool, rather than fully ordering the entire pool. To measure the performance of a ranker, we compare its output to this preferred ordering by applying a rank similarity measure.We demonstrate the practical feasibility of this approach by crowdsourcing partial preferences for the TREC 2019 Conversational Assistance Track, replacing NDCG with a new measure named "compatibility". This new measure has its most striking impact when comparing modern neural rankers, where it is able to recognize significant improvements in quality that would otherwise be missed by NDCG.

연구 동기 및 목표

• 정보 검색 분야에서 선호도 평가에 대한 잘 정립된 평가 척도가 부족한 문제를 해결하기 위해.
• 특히 NDCG가 유의미한 성능 향상을 포착하지 못할 때, 현대 신경망 기반 랭커 간의 성능 차이를 더 민감하게 감지하기 위해.
• 전체 순위가 아닌 상위-$k$ 항목에만 집중함으로써 평가 비용과 노력을 줄이기 위해.
• 크라우드소싱을 통한 부분적 선호도를 활용한 오프라인 평가를 위한 실용적이고 확장 가능한 방법을 개발하기 위해.
• 등급 평가보다 선호도 기반 평가가 실제 사용자 선호도를 더 잘 반영할 수 있음을 입증하기 위해.

제안 방법

• 부분적 선호도에 초점: 평가자는 각 쿼리에 대해 상위-$k$ 항목들만 평가하여 최상의 결과들에 대한 약한 순서를 형성한다.
• 이deal ranking set은 부분적 선호도와 일치하는 상위-$k$ 항목의 순열 전부로 구성되며, 비관련 항목은 제외된다.
• 시스템의 실제 순위와 집합 내 각 이상적 순위 간의 유사도를 측정하기 위해 Rank Biased Overlap (RBO)를 사용한다.
• 호환성(compatibility)은 시스템 출력과 집합 내 어떤 이상적 순위와의 RBO 유사도 중 최댓값으로 정의한다.
• 기존의 NDCG를 오프라인 정보 검색 평가에서 주요 평가 척도로 대체한다.
• TREC 2019 대화형 보조 트랙에 이 방법을 적용하였으며, 크라우드소싱을 통해 확보한 상위-5 선호도와 원본 등급 평가 결과를 기준으로 삼았다.

실험 결과

연구 질문

• RQ1 현대 신경망 기반 랭커에 대해 NDCG보다 더 민감한 평가 척도를 제공할 수 있는가?
• RQ2 호환성(compatibility)은 NDCG에 비해 랭커 간의 의미 있는 성능 차이를 얼마나 잘 감지하는가?
• RQ3 NDCG가 포착하지 못하는 랭커의 향상 사항을 호환성(compatibility)이 효과적으로 식별할 수 있는가?
• RQ4 대규모 정보 검색 평가에 있어 크라우드소싱을 통한 부분적 선호도 평가의 실용적 타당성은 어떠한가?
• RQ5 상위-$k$ 선호도에 집중함으로써 실제 사용자 클릭 행동과 선호 패턴에 더 잘 부합하는가?

주요 결과

• NDCG@3이 구분하지 못한 TREC 2019 CAsT 트랙의 상위 네 개 런 간에 유의미한 성능 차이를 호환성(compatibility)이 감지하였다.
• 단지 크라우드소싱을 통해 확보한 상위-5 답변을 이상적 순위로 사용할 경우, 호환성(compatibility)은 랭커 간 성능 차이 감지에 73.3%의 민감도를 기록하였으며, 등급 평가만을 사용한 경우보다 높았다.
• 단일 최상위 답변만을 이상적 순위로 사용할 경우, 호환성(compatibility)은 여전히 상위 런들의 상대적 순서를 유지하였지만, 민감도는 55.2%로 감소하였다.
• 신경망 기반 랭커는 호환성(compatibility)을 통해 감지된 유의미한 향상이 있었으며, 이는 NDCG에서는 감지되지 않았다. 이는 호환성(compatibility)이 미세한 품질 향상에 더 민감함을 시사한다.
• 실제 정보 검색 평가 과업에서 크라우드소싱을 통해 수행한 결과, 이 방법은 실용적이고 확장 가능한 것으로 입증되었다.
• 초기 등급 평가를 세 가지 카테고리(관련, 관련 있음, 관련 없음)로 단순화하면 평가 과정이 간소화되면서도 평가 품질을 유지할 수 있다.