[論文レビュー] False Discovery Rate Control and Statistical Quality Assessment of Annotators in Crowdsourced Ranking

Qianqian Xu, Jiechao Xiong+2 more|arXiv (Cornell University)|May 19, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 26被引用数 5

ひとこと要約

本稿は、アノテータの位置バイアスを固定効果としてモデル化することで、クラウドソーシングされた順序付けタスクにおける誤発見率（FDR）を検出および制御する統計的フレームワークを提案する。混合スパースおよびノンスパースパラメータに適応したノックオフフィルタを導入し、スケーラブルでバイアスのない推定を実現するため、逆スケールスケールダイナミクスと線形化ブレグマン反復を用いる。これにより、事前にバイアスを持つアノテータの数を知らなくても、頑健でFDR制御されたバイアスアノテータの同定が可能になる。

ABSTRACT

With the rapid growth of crowdsourcing platforms it has become easy and relatively inexpensive to collect a dataset labeled by multiple annotators in a short time. However due to the lack of control over the quality of the annotators, some abnormal annotators may be affected by position bias which can potentially degrade the quality of the final consensus labels. In this paper we introduce a statistical framework to model and detect annotator's position bias in order to control the false discovery rate (FDR) without a prior knowledge on the amount of biased annotators - the expected fraction of false discoveries among all discoveries being not too high, in order to assure that most of the discoveries are indeed true and replicable. The key technical development relies on some new knockoff filters adapted to our problem and new algorithms based on the Inverse Scale Space dynamics whose discretization is potentially suitable for large scale crowdsourcing data analysis. Our studies are supported by experiments with both simulated examples and real-world data. The proposed framework provides us a useful tool for quantitatively studying annotator's abnormal behavior in crowdsourcing data arising from machine learning, sociology, computer vision, multimedia, etc.

研究の動機と目的

• 特に『醜い』および『悪い』アノテータに起因する、系統的な順序付けバイアスを検出するための体系的でない手法の欠如に応える。
• 多数決投票などの従来の外れ値検出法では、バイアスを持つアノテータに起因するグローバルな順序付けの不整合を特定できないという限界を克服する。
• バイアスを持つアノテータの数に関する事前知識を必要としない、誤発見率（FDR）を制御する統計的フレームワークの構築。
• 効率的な最適化手法を用いて、大規模なクラウドソーシングデータにおけるアノテータバイアスのスケーラブルかつ正確な検出を可能にする。
• 順序付けタスクにおけるアノテータの品質評価のための頑健で再現可能である手法を提供し、コンSENSUSラベルの高い信頼性を保証する。

提案手法

• アノテータ固有の位置バイアスを固定効果としてモデル化する線形モデルを定式化し、系統的な順序付けの好みを捉える。
• スパースおよびノンスパースパラメータが混在する状況に適応したノックオフフィルタを提案し、混合パラメータモデルへの適用範囲を拡張する。
• 変数選択のための連続時間枠組みとしての逆スケールスケール（ISS）ダイナミクスを採用し、バイアスのない推定を可能にする。
• 勾配降下とソフトスレッショルド処理を組み合わせた安定的かつスケーラブルなISSダイナミクスの離散化として、線形化ブレグマン反復（LBI）を用いる。
• LASSO型推定量に内在するバイアスを補正するためのデバイアス化ステップを導入し、推定精度を向上させる。
• LBIにおける早期停止を用いて動的推定とFDR制御を統合し、統計的信頼性を維持しながら計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 バイアスを持つアノテータの数に関する事前知識がなくとも、クラウドソーシングされたペアワイズ順序付けタスクにおける位置バイアスを体系的にモデル化・検出することは可能か？
• RQ2 スパースおよびノンスパースパラメータが混在する状況にノックオフフィルタを適応させ、アノテータバイアスの存在下でFDRを制御できるか？
• RQ3 逆スケールスケールダイナミクスおよびそのLBI離散化は、標準的なLASSOと比較して推定精度とスケーラビリティをどの程度向上させるか？
• RQ4 本手法は、グローバルな順序付けの不整合を引き起こす『醜い』および『悪い』アノテータをどの程度効果的に同定できるか？
• RQ5 期待される誤発見の割合を制御することで、検出されたバイアスアノテータのうちの誤検出の割合を管理できるか、結果の再現性は高いか？

主な発見

• 提案フレームワークは、行動が混合的または微細であっても、『醜い』および『悪い』アノテータの両方を効果的に検出できる。
• バイアスを持つアノテータのスパarsityレベルに関する事前知識がなくてもFDR制御が達成され、検出されたアノテータのうち誤検出は事前に指定された割合を超えない。
• 逆スケールスケールダイナミクスと線形化ブレグマン反復のアプローチは、LASSOと同等の条件下でバイアスのない推定量を提供するが、計算コストが低く、スケーラビリティに優れる。
• シミュレーテッドおよび実世界のデータセットにおける実験結果から、本手法はバイアスアノテータを効果的に同定し、コンセンサスラベルの品質を向上させることを確認した。
• ノックオフフィルタの適応により、ペアワイズ比較データに一般的に見られる依存構造下でも有効なFDR制御が可能となり、グローバルな不整合の検出において標準的手法を上回る性能を示した。
• LBIの低コストかつ単一パスの性質により、大規模なクラウドソーシング応用に適しており、リアルタイムまたは準リアルタイム分析が可能である。