[論文レビュー] Debiasing Evaluations That are Biased by Evaluations

Jingyan Wang, Ivan Stelmakh+2 more|arXiv (Cornell University)|Dec 1, 2020

Multi-Criteria Decision Making参考文献 43被引用数 4

ひとこと要約

本稿では、成績や論文受容の結果に基づくバイアス（例：成績が良い学生の評価が高くなるなど）に影響を受ける評価を正則化最適化法で是正する手法を提案する。結果の部分順序が既知であることを前提とし、理論的保証と適応的交差検証を用いて、バイアスのあるフィードバックにもかかわらず真のアイテム品質の推定精度を向上させることを示している。

ABSTRACT

It is common to evaluate a set of items by soliciting people to rate them. For example, universities ask students to rate the teaching quality of their instructors, and conference organizers ask authors of submissions to evaluate the quality of the reviews. However, in these applications, students often give a higher rating to a course if they receive higher grades in a course, and authors often give a higher rating to the reviews if their papers are accepted to the conference. In this work, we call these external factors the "outcome" experienced by people, and consider the problem of mitigating these outcome-induced biases in the given ratings when some information about the outcome is available. We formulate the information about the outcome as a known partial ordering on the bias. We propose a debiasing method by solving a regularized optimization problem under this ordering constraint, and also provide a carefully designed cross-validation method that adaptively chooses the appropriate amount of regularization. We provide theoretical guarantees on the performance of our algorithm, as well as experimental evaluations.

研究の動機と目的

• 評価者が自身の結果（例：成績や受容意思決定）に影響を受けてバイアスが生じる評価における結果誘発バイアスを是正すること。
• 学生の成績や論文の意思決定といった、結果の既知の部分順序を用いてバイアス構造をモデル化すること。
• この部分順序制約を満たすように正則化最適化フレームワークを構築し、バイアスのない評価を得ること。
• 真の値が不明な状況でも、最適な正則化強度を選択できるように、適応的交差検証を設計すること。

提案手法

• 既知の結果（例：成績、受容状態）に基づき、評価者のバイアスに部分順序制約を定式化する。
• バイアスの部分順序制約を満たしつつ、評価のずれを最小化する正則化最適化問題を提案する。
• 解の安定化とノイズやバイアスのある評価への過剰適合の防止のため、Tikhonov型正則化を用いる。
• 部分順序制約の下でホールドアウトデータ上のモデル性能を評価することで、正則化パラメータを適応的にチューニングする交差検証手順を設計する。
• 成績評価や学会会議のピアレビューなど、結果バイアスが明確に報告されている実世界の設定に本手法を適用する。
• 理論的分析により、弱い正則性条件の下で一貫性と収束性が保証され、推定誤差の境界が O(√(log d)/d^{1/4}) に比例することを示している。

実験結果

リサーチクエスチョン

• RQ1 結果の順序が分かっている場合に、結果誘発バイアスを効果的に是正できるか？
• RQ2 既知の結果順序から得られる構造的制約を満たす正則化フレームワークをどのように設計できるか？
• RQ3 真の値が不明でバイアス構造が部分的にしか分かっていない状況で、最適な正則化量は何か？
• RQ4 固定正則化と比較して、提案された適応的交差検証法は推定精度においてどのように異なるか？
• RQ5 バイアスのあるフィードバックがあっても、本手法は真のアイテム品質順位を一貫して回復できるか？

主な発見

• 合成データおよび実世界の評価において、単純平均や正則化なしの手法と比較して、本手法は推定精度を顕著に向上させた。
• 真の値が入手不可であっても、適応的交差検証によりバイアスと推定誤差を最小化する正則化パラメータを的確に選択できた。
• 理論的分析により、弱い正則性条件の下で一貫した推定が達成され、誤差境界が O(√(log d)/d^{1/4}) のオーダーでスケーリングされることを確認した。
• 実験的結果から、成績が優れた教員やレビュアーが逆に低い評価を受けるという直感に反する傾向を、本手法が効果的に是正していることが示された。
• バイアスやノイズのレベルが変動しても本手法は頑健性を保ち、真のアイテム品質を回復する点でベースライン手法を上回った。