[논문 리뷰] A Unified Statistical Learning Model for Rankings and Scores with Application to Grant Panel Review

Michael Pearce, Elena A. Erosheva|arXiv (Cornell University)|2022. 01. 07.

Game Theory and Voting Systems인용 수 6

한 줄 요약

이 논문은 데이터 변환 없이 순위와 점수를 동시에 모델링하는 통합 통계적 프레임워크인 Mallows-Binomial 모델을 제안한다. 이 모델은 객체의 품질, 공통 순위, 공통 강도를 공유하는 파라미터를 통해 Mallows $φ$ 순위 모델과 Binomial 점수 모델을 결합한다. 모델은 트리 탐색 알고리즘을 통해 정확한 최대우도 추정을 가능하게 하며, 기금 심사판 리뷰 데이터에서 선호도 집계의 정확성과 적절한 불확실성 측정을 향상시킨다.

ABSTRACT

Rankings and scores are two common data types used by judges to express preferences and/or perceptions of quality in a collection of objects. Numerous models exist to study data of each type separately, but no unified statistical model captures both data types simultaneously without first performing data conversion. We propose the Mallows-Binomial model to close this gap, which combines a Mallows' $ϕ$ ranking model with Binomial score models through shared parameters that quantify object quality, a consensus ranking, and the level of consensus between judges. We propose an efficient tree-search algorithm to calculate the exact MLE of model parameters, study statistical properties of the model both analytically and through simulation, and apply our model to real data from an instance of grant panel review that collected both scores and partial rankings. Furthermore, we demonstrate how model outputs can be used to rank objects with confidence. The proposed model is shown to sensibly combine information from both scores and rankings to quantify object quality and measure consensus with appropriate levels of statistical uncertainty.

연구 동기 및 목표

• 데이터 변환 없이 순위와 점수를 동시에 분석할 수 있는 통계 모델의 부족을 해결하기 위해.
• 객체의 품질과 공통성에 대한 공유 파라미터를 사용하여 상대적 순위와 수치적 점수를 모두 포괄하는 통합 모델을 개발하기 위해.
• 효율적인 트리 탐색 알고리즘을 활용해 모델 파라미터에 대한 정확한 최대우도 추정을 제공하기 위해.
• 실제 기금 심사판 리뷰 데이터에서 점수와 부분 순위 입력을 모두 포함한 모델의 성능을 평가하기 위해.
• 모델이 신뢰구간을 제공하는 순위 기반 객체 목록을 생성하여 선호도 집계를 향상시킬 수 있는지 보여주기 위해.

제안 방법

• 객체의 품질, 공통 순위, 공통 강도를 공유하는 잠재 변수를 통해 순위에 대한 Mallows $φ$ 모델과 점수에 대한 Binomial 모델을 결합한 Mallows-Binomial 모델을 제안한다.
• 모델 파라미터의 정확한 최대우도 추정기(MLE)를 효율적으로 계산하기 위해 A* 알고리즘 기반의 트리 탐색 알고리즘을 사용한다.
• 객체의 품질, 공통 순위, 공통 강도가 주어진 조건 하에서 심사위원의 순위와 점수의 확률이 조건부로 독립적이게 모델링한다.
• 두 데이터 유형 간 공유 파라미터를 통해 객체의 품질을 추정함으로써 통합 추론를 가능하게 하는 파rameterization을 적용한다.
• 순위와 점수 구성요소를 모두 포함한 로그우도 함수를 유도하며, 공통 순위에서의 거리와 Binomial 우도 항목을 포함한다.
• 정규 조건 하에서 MLE의 균일 일致성과 점근 정규성을 증명하여 통계적 타당성을 확립한다.

실험 결과

연구 질문

• RQ1 한 개의 통계 모델이 다른 데이터 유형으로 변환하지 않고도 순위와 점수를 효과적으로 통합할 수 있는가?
• RQ2 순위와 점수를 함께 모델링할 경우, 단변량 모델에 비해 선호도 집계의 정확성과 강건성은 어떻게 향상되는가?
• RQ3 데이터 변환은 선호도 학습에 어떤 영향을 미치며, 제안된 모델은 이를 피하기 위해 어떻게 접근하는가?
• RQ4 적절한 불확실성 측정을 포함해 객체의 품질과 공통 강도를 신뢰성 있게 추정할 수 있는가?
• RQ5 실세계 환경에서 정확한 MLE를 위한 트리 탐색 알고리즘은 근사 방법에 비해 효율성과 정확도에서 어떻게 비교되는가?

주요 결과

• Mallows-Binomial 모델은 공유 파라미터를 통해 순위와 점수를 효과적으로 통합하여 데이터 변환으로 인한 정보 손실을 방지한다.
• 제안된 트리 탐색 알고리즘은 실세계 응용에 적합한 계산 효율성을 확보하면서 정확한 MLE 계산을 가능하게 한다.
• 시뮬레이션 연구를 통해 정규 조건 하에서 모델의 일致성과 파라미터 추정의 점근 정규성이 확인되었다.
• 실제 기금 심사판 데이터에 대한 실증 분석 결과, 모델은 점수와 순위 정보를 효과적으로 통합하여 신뢰구간을 제공하는 더 신뢰할 수 있는 객체 순위를 도출하였다.
• 모델은 점수와 순위가 상호보완적인 정보를 제공하며, 이를 함께 사용할 경우 객체의 품질과 공통 강도 추정이 향상됨을 보여주었다.
• 실제 기금 점수의 표본 평균과 분산은 이론적 Binomial 분산-평균 관계를 잘 따르며, 점수 모델의 타당성을 뒷받침한다.