[논문 리뷰] Debiasing Evaluations That are Biased by Evaluations

Jingyan Wang, Ivan Stelmakh외 2명|arXiv (Cornell University)|2020. 12. 01.

Multi-Criteria Decision Making참고 문헌 43인용 수 4

한 줄 요약

이 논문은 결과 유도 편향(예: 성적에 의해 왜곡된 학생 평가 또는 논문 접수 수락 여부에 의해 왜곡된 저자 평가)에 영향을 받는 평가를 보정하기 위해 알려진 부분 순서를 기반으로 정규화된 최적화 방법을 제안한다. 이는 이론적 보장을 제공하고 정규화의 적응형 교차검증을 수행하며, 편향된 피드백이 존재하더라도 진정한 항목 품질을 더 정확하게 추정하는 데 성공한다.

ABSTRACT

It is common to evaluate a set of items by soliciting people to rate them. For example, universities ask students to rate the teaching quality of their instructors, and conference organizers ask authors of submissions to evaluate the quality of the reviews. However, in these applications, students often give a higher rating to a course if they receive higher grades in a course, and authors often give a higher rating to the reviews if their papers are accepted to the conference. In this work, we call these external factors the "outcome" experienced by people, and consider the problem of mitigating these outcome-induced biases in the given ratings when some information about the outcome is available. We formulate the information about the outcome as a known partial ordering on the bias. We propose a debiasing method by solving a regularized optimization problem under this ordering constraint, and also provide a carefully designed cross-validation method that adaptively chooses the appropriate amount of regularization. We provide theoretical guarantees on the performance of our algorithm, as well as experimental evaluations.

연구 동기 및 목표

• 평가자가 자신의 결과(예: 성적 또는 수락 결정)에 의해 체계적으로 영향을 받는 결과 유도 편향이 있는 평가를 다루는 것.
• 학생 성적 또는 논문 수락 결정과 같은 결과의 알려진 부분 순서를 이용해 편향 구조를 모델링하는 것.
• 이 부분 순서 제약 조건을 충족시키는 정규화된 최적화 프레임워크를 개발하여 편향 없는 평가를 도출하는 것.
• 기본 진실값이 없는 상황에서 최적의 정규화 강도를 선택하기 위해 적응형 교차검증 방법을 설계하는 것.

제안 방법

• 알려진 결과(예: 성적, 수락 상태) 기반으로 평가자 편향에 대한 부분 순서 제약 조건을 설정한다.
• 편향의 부분 순서 제약 조건을 충족시키면서 평가의 이탈을 최소화하는 정규화된 최적화 문제를 제안한다.
• 해결책의 안정성과 과적합 방지를 위해 티코노프 유형의 정규화를 사용한다.
• 부분 순서 제약 조건 하에서 보류된 데이터에서 모델 성능을 평가함으로써 정규화 파라미터를 적응적으로 조정하는 교차검증 절차를 설계한다.
• 결과 편향이 잘 알려진 실제 응용 분야인 수업 평가 및 학술 회의 동료 평가에 이 방법을 적용한다.
• 이론적 분석을 통해 미약한 조건 하에서도 일致성과 수렴성을 입증하며, 추정 오차에 대한 경계를 제시한다.

실험 결과

연구 질문

• RQ1 결과 순서를 통해 편향의 방향이 알려진 경우, 결과 유도 편향을 효과적으로 보정할 수 있는가?
• RQ2 알려진 결과 순서에서 유도된 구조적 제약 조건을 충족시키는 정규화 프레임워크를 어떻게 설계할 수 있는가?
• RQ3 기본 진실값이 없고 편향 구조가 부분적으로 알려진 상황에서 최적의 정규화 정도는 무엇인가?
• RQ4 적응형 교차검증 방법은 고정된 정규화 대비 추정 정확도 측면에서 어떻게 성능을 발휘하는가?
• RQ5 편향된 피드백이 존재하더라도 이 방법은 진정한 항목 품질 순위를 일관되게 복원할 수 있는가?

주요 결과

• 제안된 보정 방법은 시뮬레이션 및 실제 평가 모두에서 단순 평균화나 비정규화 방법에 비해 추정 정확도가 크게 향상됨.
• 기본 진실값이 없더라도 적응형 교차검증이 편향과 추정 오차를 최소화하는 정규화 강도를 성공적으로 선택함.
• 이론적 분석을 통해 미약한 규칙성 조건 하에서도 일관된 추정이 가능하며, 추정 오차 경계는 d차원 평가 공간에서 O(√(log d)/d^{1/4})로 스케일링됨.
• 실증 결과는 이 방법이 결과 편향으로 인해 높은 성과를 낸 강사나 평론가가 낮은 평가를 받는 역설적인 경향을 효과적으로 뒤집는 데 성공함을 보여줌.
• 편향과 노이즈의 수준이 다양하더라도 이 방법은 기준 방법보다 진정한 기반 항목 품질을 복원하는 데 더 강건함.