[論文レビュー] Adversarial Crowdsourcing Through Robust Rank-One Matrix Completion

Qianqian Ma, Alex Olshevsky|arXiv (Cornell University)|Oct 23, 2020

Mobile Crowdsensing and Crowdsourcing参考文献 33被引用数 14

ひとこと要約

本稿では、部分的に観測された、任意に破損した要素からランク1行列を回復するためのロバストなランク1行列補完アルゴリズムを提案する。この手法は、交互最小化と極値フィルタリングを組み合わせており、Erdős-Rényi確率的サンプリング下で理論的に最適であり、一部の作業者が意図的に誤ったラベルを提供する悪意のあるクラウドソーシング環境において、最先端手法を著しく上回る性能を発揮する。

ABSTRACT

We consider the problem of reconstructing a rank-one matrix from a revealed subset of its entries when some of the revealed entries are corrupted with perturbations that are unknown and can be arbitrarily large. It is not known which revealed entries are corrupted. We propose a new algorithm combining alternating minimization with extreme-value filtering and provide sufficient and necessary conditions to recover the original rank-one matrix. In particular, we show that our proposed algorithm is optimal when the set of revealed entries is given by an Erdős-Rényi random graph. These results are then applied to the problem of classification from crowdsourced data under the assumption that while the majority of the workers are governed by the standard single-coin David-Skene model (i.e., they output the correct answer with a certain probability), some of the workers can deviate arbitrarily from this model. In particular, the "adversarial" workers could even make decisions designed to make the algorithm output an incorrect answer. Extensive experimental results show our algorithm for this problem, based on rank-one matrix completion with perturbations, outperforms all other state-of-the-art methods in such an adversarial scenario.

研究の動機と目的

• 観測された要素の一部が任意に破損しており、破損箇所が未知である状況において、ランク1行列を再構築する課題に対処すること。
• 特に悪意のある破損が存在する状況下でも、確率的サンプリング下で理論的に最適なロバストなランク1行列補完アルゴリズムを構築すること。
• 一部の作業者が悪意を持ってシステムを損なう可能性があるクラウドソーシング分類にこの手法を適用すること。
• 厳密な理論的分析と実験的評価を通じて、既存の最先端手法を悪意のある環境下で上回ること。

提案手法

• アルゴリズムは、交互最小化を用いてランク1因子を繰り返し推定し、極値フィルタリングを組み合わせて破損した要素を特定・低減する。
• 破損箇所の事前知識が不要な状況でも、残差の分布に基づくフィルタリング機構を導入して外れ値を検出する。
• 理論的分析により、Erdős-Rényi確率的サンプリング下での正確な回復の十分かつ必要条件を確立する。
• 符号パターンの決定問題を、補助ノードを含む変更されたグラフ上のグラフ彩色問題に変換する2色塗り分け変換を適用する。
• 変更されたグラフから導出される確率的行列の固有ベクトルを用いて、元のランク1行列の符号パターンを推定する。
• Dawid-Skeneクラウドソーシングモデルにこの手法を適用し、一部の作業者が悪意を持って行動する状況下でも信頼性の高い分類を可能にする。

実験結果

リサーチクエスチョン

• RQ1 観測された要素の一部が任意に破損しており、破損箇所が未知である場合、ランク1行列を正確に回復できるか？
• RQ2 どのようなサンプリング条件下で、提案手法がロバストなランク1行列補完において理論的に最適となるか？
• RQ3 一部の作業者が意図的に誤ったラベルを提供する悪意のあるクラウドソーシング環境下で、提案手法はどのように性能を発揮するか？
• RQ4 破損した観測値が存在する状況下でも、元のランク1行列の符号パターンを正確に回復できるか？
• RQ5 交互最小化と極値フィルタリングの組み合わせが、合成および実世界の悪意あるデータセットにおいて、既存の最先端手法を上回る性能を発揮するか？

主な発見

• 提案手法は、Erdős-Rényi確率的サンプリング下で、破損要素の数が理論的閾値未満である限り、元のランク1行列を正確に回復する。
• 他のアルゴリズムが同じサンプリングおよび破損条件下で行列を回復できないことから、本手法は理論的に最適である。
• 広範な実験により、悪意あるクラウドソーシング環境下で、12の最先端手法すべてを上回ることが確認された。特に、破損が密集しているか、戦略的に配置されている場合に顕著な優位性を示した。
• 極値フィルタリングステップは、破損箇所の事前知識がなくても、任意に大きな摂動の影響を効果的に特定・低減する。
• 2色塗り分けに基づく符号パターン回復手法は、多数の要素が破損している状況下でも、正しい符号構造を的確に推定できた。
• Azumaの不等式とマルティンゲール集中を用いて、回復および符号パターン決定の両方について理論的保証を確立し、高い確率で成立する境界を導出した。