[論文レビュー] Your 2 is My 1, Your 3 is My 9: Handling Arbitrary Miscalibrations in Ratings

Jingyan Wang, Nihar B. Shah|arXiv (Cornell University)|Jun 13, 2018

Stock Market Forecasting MethodsDecision Sciences被引用数 22

ひとこと要約

本稿では、任意で未知の不正確な補正が加えられた順序的スコアを扱う新しい推定器のクラスを提案する。線形的またはパrametricなバイアスを仮定しないが、順序付けに基づく推定器よりも厳密かつ一様に優れる。ベイズ的推定とスティーブンの収縮を応用し、スコアの順序的構造を活用することで、A/Bテストや順序付けタスクにおける性能を向上させ、不正確な補正下でも順序的順位付けのみが有用であるという長年の信念に挑戦する。

ABSTRACT

Cardinal scores (numeric ratings) collected from people are well known to suffer from miscalibrations. A popular approach to address this issue is to assume simplistic models of miscalibration (such as linear biases) to de-bias the scores. This approach, however, often fares poorly because people's miscalibrations are typically far more complex and not well understood. In the absence of simplifying assumptions on the miscalibration, it is widely believed by the crowdsourcing community that the only useful information in the cardinal scores is the induced ranking. In this paper, inspired by the framework of Stein's shrinkage, empirical Bayes, and the classic two-envelope problem, we contest this widespread belief. Specifically, we consider cardinal scores with arbitrary (or even adversarially chosen) miscalibrations which are only required to be consistent with the induced ranking. We design estimators which despite making no assumptions on the miscalibration, strictly and uniformly outperform all possible estimators that rely on only the ranking. Our estimators are flexible in that they can be used as a plug-in for a variety of applications, and we provide a proof-of-concept for A/B testing and ranking. Our results thus provide novel insights in the eternal debate between cardinal and ordinal data.

研究の動機と目的

• 未知または任意の不正確な補正下で、順序的順位付けにのみ有用であるという広く信じられている信念に挑戦すること。
• 不正確な補正の形式についていかなる仮定も行わないが、順序的スコアを利用する推定器を設計すること。
• 任意の不正確な補正下で、順位付けのみに依存する情報よりも順序的スコアが厳密に多い情報を含むことを示すこと。
• A/Bテストやアイテム順序付けなどの応用分野において、既存の順位付けベースのアルゴリズムを改善するための即時適用可能なフレームワークを提供すること。
• 順位付けのみに依存するあらゆる代替手法よりも、順序的スコアに基づく推定器が一様に優れていることを示す理論的保証を確立すること。

提案手法

• 真の値から報告されたスコアへの不正確な補正を、パrametricな仮定を一切行わない単調変換として形式化する。
• 経験的ベイズとスティーブンの収縮フレームワークを適用し、スコアを共通の基準値に収縮または補正する推定器を構築することで、不確実性下での推定性能を向上させる。
• 観測された順位構造と経験的分布に基づいて導出される重みを用いたスコアの重み付き平均に基づく標準推定器を設計する。
• 2つの封筒問題の類似性を用いて、決定論的で順位付けに依存する戦略を上回る確率的推定器の設計を正当化する。
• 提案された順序的スコアに基づく推定器が、成功確率の観点で、すべての順位付けベースの推定器を一様に上回ることを示す理論的境界を導出する。
• 最適な性能は、観測された順位付けによって誘導される位相的順序構造を満たす推定器においてのみ達成可能であり、提案された順序的スコア推定器がその条件をより高い確率で満たせることを示す。

実験結果

リサーチクエスチョン

• RQ1 任意の不正確な補正下でも、補正のモデル化を行わない限り、順序的スコアは順位付けベースの手法を上回る推定性能を達成できるか？
• RQ2 不正確な補正のパラメトリックな形式を一切仮定しない状況でも、すべての順位付けのみの推定器を一様に上回る推定器を構築することは可能か？
• RQ3 レビュアーのバイアスが未知で、悪意ある選択を受ける可能性がある状況下でも、順序的スコアの構造を活用してA/Bテストや順位付けタスクの性能を向上させることは可能か？
• RQ4 任意の単調な不正確な補正下で、順序的スコアと順位付けの理論的関係は何か？
• RQ5 経験的ベイズと収縮技術を、不正確なスコアを扱うようにどのように適合させれば、推定精度を維持または向上させることができるか？

主な発見

• 提案された順序的スコア推定器は、不正確な補正が悪意的に選ばれた場合ですら、順位付けのみに依存するあらゆる推定器を厳密かつ一様に上回る。
• 不正確な補正と真の順位のあらゆる設定に対して、提案された推定器の成功確率は、あらゆる順位付けのみの推定器の成功確率を上回る。
• 最適な順位付けベースの推定器は、常に観測された順位付けに整合する位相的順序を出力しなければならないが、提案された順序的スコア推定器はその条件をより高い確率で満たす。
• 理論的分析により、順序的スコアを用いた正しい推定の確率が、任意の順位付けのみの手法が達成可能な最大値よりも厳密に大きい下限で抑えられていることが証明された。
• 離散的スケールのスコアに対してもロバストであり、同値（タイ）の処理にわずかな修正を加えるだけで対応可能で、実用的応用分野（例：ピアレビュー）へ自然に拡張可能である。
• フレームワークにより、既存のA/Bテストや順位付けアルゴリズムに対して即時的な改善が可能であり、全体のパイプラインを再設計することなく、性能向上の実用的道筋を提供する。