[논문 리뷰] Your 2 is My 1, Your 3 is My 9: Handling Arbitrary Miscalibrations in Ratings

Jingyan Wang, Nihar B. Shah|arXiv (Cornell University)|2018. 06. 13.

Stock Market Forecasting Methods인용 수 22

한 줄 요약

이 논문은 선형적 또는 비모수적 편향을 가정하지 않으며, 임의의 알려지지 않은 잘못 조정된 카디널 평가 점수를 활용하는 새로운 유형의 추정기들을 제안한다. 이는 유도된 순위만을 사용하는 추정기보다 엄격하고 균일하게 우월하다. 베이지안 추정과 스텐의 수축 기법을 기반으로 하여, 카디널 점수의 구조를 활용함으로써 A/B 테스트 및 순위 매기기에서 뛰어난 성능을 달성하며, 잘못 조정된 상황에서 유일하게 순위 정보만이 유용하다는 오랜 믿음을 도전한다.

ABSTRACT

Cardinal scores (numeric ratings) collected from people are well known to suffer from miscalibrations. A popular approach to address this issue is to assume simplistic models of miscalibration (such as linear biases) to de-bias the scores. This approach, however, often fares poorly because people's miscalibrations are typically far more complex and not well understood. In the absence of simplifying assumptions on the miscalibration, it is widely believed by the crowdsourcing community that the only useful information in the cardinal scores is the induced ranking. In this paper, inspired by the framework of Stein's shrinkage, empirical Bayes, and the classic two-envelope problem, we contest this widespread belief. Specifically, we consider cardinal scores with arbitrary (or even adversarially chosen) miscalibrations which are only required to be consistent with the induced ranking. We design estimators which despite making no assumptions on the miscalibration, strictly and uniformly outperform all possible estimators that rely on only the ranking. Our estimators are flexible in that they can be used as a plug-in for a variety of applications, and we provide a proof-of-concept for A/B testing and ranking. Our results thus provide novel insights in the eternal debate between cardinal and ordinal data.

연구 동기 및 목표

• 모수적 형태의 편향을 가정하지 않고도, 잘못 조정된 상황에서 카디널 평가 점수가 유용하다는 오랜 믿음을 도전하기 위해.
• 카디널 점수를 사용하지만, 잘못 조정의 형태에 대해 어떤 가정도 하지 않는 추정기를 설계하기 위해.
• 임의의 잘못 조정 상황에서 카디널 점수가 순위 정보만으로는 제공할 수 없는 더 많은 정보를 포함하고 있음을 입증하기 위해.
• A/B 테스트 및 항목 순위 매기기와 같은 애플리케이션에서 기존의 순위 기반 알고리즘을 향상시키기 위한 즉시 적용 가능한 프레임워크를 제공하기 위해.
• 모든 순위 기반 추정기보다 카디널 기반 추정기가 균일하게 우월함을 보여주는 이론적 보장을 수립하기 위해.

제안 방법

• 진짜 값에서 보고된 점수로의 알려지지 않은 단조 증가 변환으로 잘못 조정을 수식화하며, 모수적 가정 없이 진행한다.
• 경험 베이지안과 스텐의 수축 프레임워크를 적용하여, 공통 기준점으로 점수를 수축하거나 조정함으로써 불확실성 하에서 추정 성능을 향상시키는 추정기를 구성한다.
• 관측된 순위 구조와 경험적 분포에서 유도된 가중치를 사용하는 가중 평균 기반의 표준 추정기를 설계한다.
• 두 봉투 문제의 유사성을 활용하여, 결정론적 순위 기반 전략보다 우월한 랜덤화된 추정기 설계를 정당화한다.
• 제안된 카디널 추정기가 성공 확률 측면에서 모든 순위 기반 추정기보다 균일하게 우월함을 보여주는 이론적 경계를 유도한다.
• 최적의 성능는 관측된 순위에 의해 유도된 위상적 순서와 일치하는 추정기 출력을 요구하며, 제안된 카디널 추정기가 이 조건을 더 높은 확률로 만족시킬 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 모수적 형태의 잘못 조정이 존재하더라도, 임의의 잘못 조정이 있는 카디널 평가 점수가 순위 기반 방법보다 더 나은 추정을 가능하게 할 수 있는가?
• RQ2 모수적 형태의 잘못 조정을 가정하지 않고도, 모든 순위 기반 추정기보다 균일하게 우월한 추정기를 설계할 수 있는가?
• RQ3 검토자 편향이 알려지지 않았고 잠재적으로 악의적으로 선택된 상황에서, 카디널 점수의 구조를 활용해 A/B 테스트 및 순위 매기기 작업의 성능을 향상시킬 수 있는가?
• RQ4 임의의 단조 증가 잘못 조정 하에서 카디널 점수와 순위 간의 이론적 관계는 무엇인가?
• RQ5 경험 베이지안과 수축 기법을 어떻게 잘못 조정된 점수를 다루는 데에 적응시켜 추정 정확도를 유지하거나 향상시킬 수 있는가?

주요 결과

• 제안된 카디널 추정기는 잘못 조정이 악의적으로 선택된 경우조차도, 유도된 순위에만 의존하는 모든 추정기보다 엄격하고 균일하게 우월하다.
• 모든 가능한 잘못 조정 구성과 진짜 순위에 대해 제안된 추정기의 성공 확률은 어떤 순위 기반 추정기의 성공 확률보다 높다.
• 최적의 순위 기반 추정기는 항상 관측된 순위에 의해 유도된 위상적 순서와 일치하는 출력을 내야 하며, 제안된 카디널 추정기는 이 조건을 더 높은 확률로 만족시킨다.
• 이론적 분석을 통해 카디널 점수를 사용한 정확한 추정의 확률이, 어떤 순위 기반 방법보다도 엄격히 높은 최소값으로 유계가 있음을 증명하였다.
• 이 방법은 이산적 평가 척도에 대해 강건하며, 동점 처리를 위한 소량의 수정만으로도 적용 가능하며, 동료 평가와 같은 실용적 환경으로 자연스럽게 확장된다.
• 이 프레임워크는 기존 A/B 테스트 및 순위 매기기 알고리즘에 즉시 적용 가능한 개선을 가능하게 하여, 전체 파이프라인을 재설계하지 않고도 성능 향상을 위한 실용적 길을 제공한다.