[論文レビュー] Robust Statistical Ranking: Theory and Algorithms

Qianqian Xu, Jiechao Xiong+2 more|arXiv (Cornell University)|Aug 15, 2014

Advanced Statistical Methods and Models参考文献 56被引用数 3

ひとこと要約

本稿では、クラウドソーシングによる対比較を用いた視覚的特性評価のためのロバストな統計的順位付けフレームワークを提案する。Hodge分解を用いてサイクル的順位付け成分を外れ値として分離することで、Huber LASSOおよびLinearized Bregman Iterationを用いた外れ値検出を定式化し、不完全で偏りがあり、汚染されたデータに対しても統計的に一貫性があり、バイアスが小さい順位付けを達成する。FGLFWおよびShoesを含む実世界の視覚データセットにおいて、効果的に検証された。

ABSTRACT

Abstract—Deeply rooted in classical social choice and voting theory, statistical ranking with paired comparison data experienced its renaissance with the wide spread of crowdsourcing technique. As the data quality might be significantly damaged in an uncontrolled crowdsourcing environment, outlier detection and robust ranking have become a hot topic in such data analysis. In this paper, we propose a robust ranking framework based on the principle of Huber’s robust statistics, which formulates outlier detection as a LASSO problem to find sparse approximations of the cyclic ranking projection in Hodge decomposition. Moreover, simple yet scalable algorithms are developed based on Linearized Bregman Iteration to achieve an even less biased estimator than LASSO. Statistical consistency of outlier detection is established in both cases which states that when the outliers are strong enough and in Erdös-Rényi random graph sampling settings, outliers can be faithfully detected. Our studies are supported by experiments with both simulated examples and real-world data. The proposed framework provides us a promising tool for robust ranking with large scale crowdsourcing data arising from computer vision, multimedia, machine learning, sociology, etc.

研究の動機と目的

• 不完全で偏りがあり、汚染されたクラウドソーシングによる対比較アノテーション下でのロバストな視覚的特性順位付けの課題に対処すること。
• 大規模なクラウドソーシングデータにおけるラベルノイズおよび一貫性のないアノテーションの影響を同定し、緩和すること。
• データ汚染に耐性があり、統計的に一貫性があり、スケーラブルな順位付けフレームワークを構築すること。
• 年齢、色、品質などの細分化された特性に基づいて、信頼性の高いトップ順位の視覚的インスタンスの検索を可能にすること。

提案手法

• フレームワークは、順位付けデータを調和的成分、勾配成分、サイクル成分に分解するHodge分解を用い、サイクル成分を主な汚染源として分離する。
• 外れ値検出は、サイクル順位付け射影のスパース近似として定式化され、一貫性のないまたはノイズの多い比較の同定を可能にする。
• 外れ値の影響を最小限に抑えることで、ロバストに順位付けを推定するためのHuber LASSOに基づく最適化モデルを提案する。
• 推定器のバイアスを低減し、正則化パラメータを自動的に選択するために、Linearized Bregman Iterationが用いられる。
• スケーラブルであり、大規模なクラウドソーシングデータを想定しており、やや弱い条件下でも理論的一貫性の保証がある。
• 本手法は、合成シミュレーションおよび実世界の視覚的特性データセット（FGLFWおよびShoesを含む）を用いた検証を通じて検証された。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングによる視覚的特性評価において、ノイズや一貫性のない対比較アノテーションを効果的に検出し、その影響を緩和する方法は何か？
• RQ2 不完全で偏りのある順位付けデータにおける外れ値を同定する理論的根拠は何か？
• RQ3 ロバストな順位付けフレームワークは、データ汚染およびスパarsityの下でも統計的に一貫性があり、バイアスが小さいままであるか？
• RQ4 実世界の視覚データセットにおいて、本手法は既存の学習-順位付けおよび外れ値検出手法と比較してどのように優れているか？
• RQ5 本フレームワークは、年齢や色などの細分化された特性に基づいて、信頼性の高いトップ順位の視覚的インスタンスを効果的に検索できるか？

主な発見

• Huber LASSOおよびLinearized Bregman Iterationを用いた本手法は、理論的保証と同一の条件下で統計的に一貫性のある外れ値検出を達成した。
• Shoesデータセットにおいて、LBIおよびバイアスのない LASSO+L2 法は、すべての正例および負例に対して一貫したスコアを維持したが、他の手法はスコアの摂動を示した。
• LBIおよびバイアスのない LASSO+L2 のみが、明確なスコアギャップを用いて正例と負例を正しく分離し、信頼性の高いトップ順位の検索を可能にした。
• LBIおよびLASSO+L2の外れ値検出結果は高い一致を示し、わずか2組の矛盾するペアが、通常観測とノイズ観測の境界付近に位置していた。
• シミュレーションおよび実世界のデータにおける実験を通じて、本フレームワークが不完全で偏りがあり、汚染されたクラウドソーシングデータを視覚的特性評価に対して効果的に処理できることを確認した。