[論文レビュー] Universal Clustering via Crowdsourcing

Ravi Kiran Raman, Lav R. Varshney|arXiv (Cornell University)|Oct 5, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 21被引用数 3

ひとこと要約

本稿では、作業者の信頼性やタスクの難易度に関する事前知識がなくても動作する、クラウドソーシングデータ向けのユニバーサルクラスタリングフレームワークを提案する。作業者の応答を記憶特性と距離特性でモデル化することで、一時的および長期的作業者を対象とした漸近的一貫性を持つクラスタリングアルゴリズムを設計し、サンプル複雑性が順序的に最適であることを証明するとともに、教師なし学習設定におけるコスト効率に関する理論的境界を確立する。

ABSTRACT

Consider unsupervised clustering of objects drawn from a discrete set, through the use of human intelligence available in crowdsourcing platforms. This paper defines and studies the problem of universal clustering using responses of crowd workers, without knowledge of worker reliability or task difficulty. We model stochastic worker response distributions by incorporating traits of memory for similar objects and traits of distance among differing objects. We are particularly interested in two limiting worker types---temporary workers who retain no memory of responses and long-term workers with memory. We first define clustering algorithms for these limiting cases and then integrate them into an algorithm for the unified worker model. We prove asymptotic consistency of the algorithms and establish sufficient conditions on the sample complexity of the algorithm. Converse arguments establish necessary conditions on sample complexity, proving that the defined algorithms are asymptotically order-optimal in cost.

研究の動機と目的

• 作業者の信頼性やタスクの難易度が未知である場合のクラウドソーシングにおける教師なしクラスタリングの課題に対処すること。
• 作業者の応答における人間の意思決定特性、たとえば記憶と物体間の知覚的距離をモデル化すること。
• 作業者のタイプ（一時的および長期的）にかかわらず、事前チャネル知識がなくても普遍的に適用可能なクラスタリングアルゴリズムを設計すること。
• ユニバーサル設定下でのクラスタリング性能について、漸近的一貫性およびサンプル複雑性の境界を確立すること。
• 提案されたアルゴリズムがサンプル複雑性の観点で順序的に最適であり、逆問題の議論によってそれが証明可能であることを示すこと。

提案手法

• 記憶効果と対象間距離を統合した統一フレームワークを用いて作業者の応答をモデル化し、2つの極限ケース（一時的作業者：i.i.d.応答、長期的作業者：タスク間でマルコフ的記憶）を扱う。
• 現在の応答が直前の応答と、同じ対象クラスに対する直前の応答に依存するマルコフ記憶モデルを用いる。
• 最小分割情報関数型と経験的エントロピー推定に基づくクラスタリングアルゴリズムを定義し、ユニバーサルクラスタリングを実現する。
• 有限アルファベットの仮定下で漸近的一貫性を保証するため、エントロピーおよび相互情報量の最尤推定を適用する。
• 集中不等式および全 Variation 界を用いて、経験的エントロピーおよび相互情報量の収束速度を導出する。
• 仮説分布間のKLダイバージェンスの境界を確立し、シーケンス長に依存しない一定のクラスタ分離を証明する。

実験結果

リサーチクエスチョン

• RQ1 作業者の信頼性やタスクの難易度に関する事前知識がなくても、クラウドソーシングにおいて信頼性のあるクラスタリングが可能か？
• RQ2 記憶と物体間の知覚的距離が、ユニバーサルクラスタリングアルゴリズムの設計にどのように影響するか？
• RQ3 ユニバーサル設定下で、漸近的に一貫したクラスタリングを実現するための最小サンプル複雑性は何か？
• RQ4 提案されたアルゴリズムはサンプル複雑性において順序的に最適であり、逆問題の議論によってそれが証明可能か？
• RQ5 記憶のない一時的作業者と記憶を持つ長期的作業者では、クラスタリング性能とコスト効率にどのような差があるか？

主な発見

• 提案されたクラスタリングアルゴリズムは漸近的に一貫しており、標本サイズが増加するにつれて経験的エントロピーおよび相互情報量の推定値が真値に収束する。
• 信頼性のあるクラスタリングのためのサンプル複雑性は、$ \frac{|\mathcal{X}|}{\epsilon \log |\mathcal{X}|} $ で下限づけられ、エントロピー推定における既知の下界と一致する。
• 逆問題の議論により、下界が上界と定数因子の範囲で一致することが確認され、アルゴリズムがサンプル複雑性において順序的に最適であることが裏付けられる。
• 有限で定数のアルファベットサイズに対して、経験的エントロピーの収束速度は $ \Pr[|\hat{H}(X)-H(X)|>\epsilon] \leq 2\exp\left(\frac{-n\epsilon^2}{2\log^2 n}+o(1)\right) $ で有界である。
• 任意の2つの仮説分布間のKLダイバージェンスは、シーケンス長に依存しない定数で有界であり、安定なクラスタ分離を保証する。
• 本フレームワークにより、一時的作業者と長期的作業者のプールを理論的に比較可能となり、コストと信頼性のトレードオフを定量的に評価できる。