[論文レビュー] Feature Based Task Recommendation in Crowdsourcing with Implicit Observations

Habibur Rahman, Lucas Joppa+1 more|arXiv (Cornell University)|Feb 10, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 12被引用数 7

ひとこと要約

本稿では、作業者によるタスク完了履歴（暗黙的）とタスク特徴（例：場所）といった明示的特徴を用いて、市民科学のクラウドソーシングプラットフォーム向けに2つの新規タスク推薦モデル—Feat-Based-NNLSおよびIFTS—を提案する。作業者のタスク特徴に対する好みをモデル化し、潜在空間におけるタスク類似度を組み込むことで、ベースラインを著しく上回る性能を達成し、実世界のeBirdデータセットにおいてFeat-Based-NNLSはMPRスコア5.68を達成した。

ABSTRACT

Existing research in crowdsourcing has investigated how to recommend tasks to workers based on which task the workers have already completed, referred to as {\em implicit feedback}. We, on the other hand, investigate the task recommendation problem, where we leverage both implicit feedback and explicit features of the task. We assume that we are given a set of workers, a set of tasks, interactions (such as the number of times a worker has completed a particular task), and the presence of explicit features of each task (such as, task location). We intend to recommend tasks to the workers by exploiting the implicit interactions, and the presence or absence of explicit features in the tasks. We formalize the problem as an optimization problem, propose two alternative problem formulations and respective solutions that exploit implicit feedback, explicit features, as well as similarity between the tasks. We compare the efficacy of our proposed solutions against multiple state-of-the-art techniques using two large scale real world datasets.

研究の動機と目的

• タスク発見の非効率性に起因する高遅延と低満足度の問題を解消すること。
• 作業者とタスクの暗黙的相互作用（例：完了回数）とタスクの明示的特徴（例：場所）を統合することで、タスク推薦の正確性を向上させること。
• 過去の完了履歴や明示的評価に依存するのではなく、作業者のタスク特徴に対する好みをモデル化すること。
• 従来の負の信号仮定よりも、暗黙的フィードバックをより効果的に扱える最適化フレームワークを構築すること。
• 大規模な実世界の市民科学データセット（eBird）を用いて、提案モデルの性能をきめ細やかな指標で評価すること。

提案手法

• 非負の最小二乗法を用いて、作業者のタスク特徴に対する好みを学習する特徴好みモデル（Feat-Based-NNLS）を定式化し、観測済みと予測されたタスク完了の間の重み付き誤差を最小化する。
• 高信頼度の正の信号（完了済みタスク）の影響を強化するため、信頼度重み付き行列 $ Q $ を導入し、$ q_{wi} = 1 + \beta \times c_{wi} $ と定義する。
• 作業者-特徴好み行列 $ X $ に非負性制約を適用し、$ \text{argmin}_X \big\| (Y^T Q^w Y + \theta I) X - Y^T Q^w P_w \big\text{^2} $ を交互最適化により解く。
• 作業者およびタスクの潜在要因 $ U $ と $ V $ を同時に学習する潜在要因モデル（IFTS）を提案し、類似タスクの潜在空間における類似性を強制するためのペナルティ項を導入する。
• タスク類似度を $ \text{sim}(t_i, t_j) = \frac{1}{1 + e^{-Y_i^T Y_j}} $ として定義し、タスク特徴行列 $ Y $ を用いて潜在要因の整合性を誘導する。
• 正則化と類似性制約の下で、$ U $ および $ V $ の両方の行列に対して閉形式更新を用いた交互最適化を実行する。

実験結果

リサーチクエスチョン

• RQ1 暗黙的フィードバックに加えて、明示的タスク特徴（例：場所）をタスク推薦に組み込むことで、単一に暗黙的フィードバックに依存するモデルと比較して性能が向上するか？
• RQ2 負の最小二乗法を用いてタスク特徴に対する作業者の好みをモデル化することは、負の信号仮定に基づく従来の協調フィルタリングと比較して、どのように優れているか？
• RQ3 潜在要因空間において類似タスクの類似性を強制することで、推薦精度はどの程度向上するか？
• RQ4 提案されたモデル（Feat-Based-NNLSおよびIFTS）は、実世界の市民科学データに対して、最先端のベースラインと比較してどの程度の性能を示すか？
• RQ5 未観測の相互作用を『負』とみなすモデルが、この文脈ではなぜ性能が低くなるのか？暗黙的フィードバックはどのようにより良くモデル化できるか？

主な発見

• Feat-Based-NNLSは、eBirdデータセットにおいて最高の平均百分位順位（MPR）スコア5.68を達成し、すべてのベースラインを著しく上回った。
• Implicit-ALS-Negベースラインは、未観測相互作用を負の好みと誤ってモデル化しているため、性能が低く（MPR = 17.3）なった。
• Feat-Based-Reg（正則化回帰ベースライン）はMPR 13.706を達成し、暗黙的フィードバックのみに依存するモデルと比較して、明示的特徴の統合が性能向上に寄与することを示した。
• IFTSはMPR 6.87を達成し、標準的な潜在要因モデルと比較して、潜在空間におけるタスク類似度の組み込みが推薦品質の向上に寄与することを示した。
• 精度-再現率曲線の分析から、Feat-Based-NNLSは全再現率閾値において、関連するタスクを上位推薦に一貫して高くランク付けしていることが確認された。
• 信頼度重み付けのための $ \beta = 50 $ が最適であった。これは、高頻度完了信号の影響を強化しつつ、過学習を防いでいた。