[論文レビュー] When is it Better to Compare than to Score?

Nihar B. Shah, Sivaraman Balakrishnan+4 more|arXiv (Cornell University)|Jun 25, 2014

Meta-analysis and systematic reviews参考文献 23被引用数 18

ひとこと要約

この論文は、人間によるデータ収集において、順序尺度（順序比較）測定が直接スコア（基数尺度）測定を上回る状況を調査する。アマゾン・メカニカル・トゥーカー上で実施した実験と、サーストーンおよびブラッドリー＝テューリー＝リュース（BTL）モデルの理論的分析を通じて、順序尺度手法がサンプルごとのノイズを低減し、ノイズが十分に低い場合には推定誤差も低くなることを示し、基数尺度と順序尺度の間での選択に関するデータ駆動型の指針を提供する。

ABSTRACT

When eliciting judgements from humans for an unknown quantity, one often has the choice of making direct-scoring (cardinal) or comparative (ordinal) measurements. In this paper we study the relative merits of either choice, providing empirical and theoretical guidelines for the selection of a measurement scheme. We provide empirical evidence based on experiments on Amazon Mechanical Turk that in a variety of tasks, (pairwise-comparative) ordinal measurements have lower per sample noise and are typically faster to elicit than cardinal ones. Ordinal measurements however typically provide less information. We then consider the popular Thurstone and Bradley-Terry-Luce (BTL) models for ordinal measurements and characterize the minimax error rates for estimating the unknown quantity. We compare these minimax error rates to those under cardinal measurement models and quantify for what noise levels ordinal measurements are better. Finally, we revisit the data collected from our experiments and show that fitting these models confirms this prediction: for tasks where the noise in ordinal measurements is sufficiently low, the ordinal approach results in smaller errors in the estimation.

研究の動機と目的

• 人間によるデータ収集における基数的（数値スコア）と順序的（対比較）手法の選択に生じる曖昧さを解消すること。
• 多様なタスクにおいて、基数的測定と順序的測定の両方におけるサンプルごとのノイズレベルを実験的に定量すること。
• 順序的データのサーストーンおよびブラッドリー＝テューリー＝リュース（BTL）モデルにおける最小最大推定誤差率を理論的に特徴づけること。
• 順序的測定が基数的測定よりも低い推定誤差を達成する条件を導出すること。
• 実験的ノイズレベルと比較グラフのトポロジーに基づいて、測定方式を選択するための実用的ガイドラインを提供すること。

提案手法

• 複数のタスクにおいて、アマゾン・メカニカル・トゥーカー上で大規模な人間実験を実施し、基数的および順序的測定方式におけるノイズレベルを比較した。
• 対比較における確率的関係を形式化するために、サーストーン・ケースVモデルとブラッドリー＝テューリー＝リュース（BTL）モデルを適用した。
• 統計的意思決定理論を用いて、基数的および順序的モデルの両方における最小最大誤差バウンドを導出した。
• 比較グラフの構造（すなわち、どのアイテムペアが比較されたか）を組み込んだ、トポロジーに配慮した誤差バウンドを導入した。
• 理論的モデルを実際の実験データにフィットさせ、推定精度に関する予測の妥当性を検証した。
• データ処理不等式を理論的ベンチマークとして用いたが、人間によるデータ収集ではノイズ特性が異なるため、直接適用できないことを示した。

実験結果

リサーチクエスチョン

• RQ1 人間によるデータ収集中、対比較が直接基数的スコア測定よりも低い推定誤差をもたらす条件は何か？
• RQ2 現実世界のタスクにおいて、サンプルごとのノイズは、基数的測定と順序的測定の間でどのように異なるか？
• RQ3 サーストーンおよびブラッドリー＝テューリー＝リュース（BTL）モデル下で、対比較を用いた未知の量の推定における理論的最小最大誤差率は何か？
• RQ4 比較グラフの構造（すなわち、どのアイテムペアが比較されたか）は、順序的設定における推定誤差にどのように影響するか？
• RQ5 少数の基準値サンプルから得られる実験的ノイズ推定値は、順序的測定と基数的測定のどちらが好ましいかを信頼性高く予測できるか？

主な発見

• 実験的結果から、複数のタスクにおいて、基数的測定のサンプルごとのノイズが、順序的測定よりも顕著に高いことが示された。
• 順序的測定は、測定ごとの情報量が少ないにもかかわらず、通常はより速く、ノイズが少ない。
• 理論的分析により、順序的測定のノイズが十分に低い場合には、順序的手法が基数的手法よりも低い最小最大推定誤差を達成することが分かった。
• 実験データにサーストーンおよびBTLモデルをフィットさせた結果、順序的ノイズが低い場合には、順序的ベースの推定がより正確であることが確認された。
• トポロジーに配慮したバウンドは、推定誤差が比較グラフの固有値特性に依存することを示し、より接続性の高いグラフでは誤差が低くなる傾向があることを示した。
• 本論文は実用的ガイドラインを提供する：少数の基準値サンプルを用いて両モダリティのノイズを推定し、順序的測定のノイズが十分に低い場合には、それを優先すべきである。