[論文レビュー] Cost-Effective HITs for Relative Similarity Comparisons

Michael J. Wilber, Iljung S. Kwak+1 more|arXiv (Cornell University)|Apr 12, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 14被引用数 19

ひとこと要約

本稿では、クラウドソーシングにおける三つ組み類似度比較のためのグリッドベースのユーザインターフェースを提案する。この手法により、1画面あたり最大48組の三つ組みを収集可能となり、著しく効率が向上し、コストが削減される。従来の1回に1組の三つ組みを処理するUIに比べ、より低い金銭的コストで埋め込み品質を向上させることができ、16-choose-4のグリッドが最も優れた結果をもたらし、作業者が時給10ドル以上を稼げるようになる。

ABSTRACT

Similarity comparisons of the form "Is object a more similar to b than to c?" are useful for computer vision and machine learning applications. Unfortunately, an embedding of $n$ points is specified by $n^3$ triplets, making collecting every triplet an expensive task. In noticing this difficulty, other researchers have investigated more intelligent triplet sampling techniques, but they do not study their effectiveness or their potential drawbacks. Although it is important to reduce the number of collected triplets, it is also important to understand how best to display a triplet collection task to a user. In this work we explore an alternative display for collecting triplets and analyze the monetary cost and speed of the display. We propose best practices for creating cost effective human intelligence tasks for collecting triplets. We show that rather than changing the sampling algorithm, simple changes to the crowdsourcing UI can lead to much higher quality embeddings. We also provide a dataset as well as the labels collected from crowd workers.

研究の動機と目的

• 従来のMTurk UIに依存する1回に1組の三つ組み類似度比較を収集する方法の高コストと非効率性を是正すること。
• バッチ処理されたグリッドベースのUIが、知覚的埋め込みの品質を向上させつつ、金銭的および時間的コストを削減できるかどうかを調査すること。
• 類似度比較の収集に適したコスト効率が高く、品質の高い人間知的タスク（HIT）を設計するためのベストプラクティスを確立すること。
• 現実のクラウドソーシング環境において、グリッドサイズ、作業者の負担、埋め込み性能の間のトレードオフを評価すること。

提案手法

• プローブ画像を表示し、n個の画像を併記し、作業者がk個の最も類似した画像を選択することで、1画面あたりk(n−k)組の三つ組みを生成するグリッドUIを設計する。
• 作業者の負担を抑えつつ、三つ組みの収穫量を最大化するため、16-choose-4のグリッドレイアウトを採用する。
• このグリッドインターフェースを用いて人間によるラベル付き三つ組みを収集し、データ品質を保証するため20%のキャッチトライアルを含める。
• 標準的なメトリクス学習アルゴリズムを用いて、さまざまなグリッドサイズ（例：4-choose-2、8-choose-4、12-choose-4、16-choose-4）における埋め込み品質を比較する。
• 作業者の所要時間と報酬をモニタリングし、公正な報酬支払いと高い作業満足度を確保する。
• 合成データおよび人為ラベル付きデータを用いて、CKLのような適応的サンプリング戦略と性能をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 グリッドベースのHITインターフェースは、従来の1回に1組の三つ組みを処理するインターフェースに比べ、より高品質な知覚的埋め込みを生成するか？
• RQ2 1画面あたり収集する三つ組みの数が、埋め込み品質とコスト効率にどのように影響するか？
• RQ3 作業者の満足度とコスト効率を最大化するための、グリッドサイズ（n）と選択されたアイテム数（k）の最適なバランスは何か？
• RQ4 グリッドUIを用いたバッチ処理による三つ組み収集は、CKLのような適応的サンプリングアルゴリズムを上回る埋め込み品質とコスト効率を達成できるか？
• RQ5 キャッチトライアルは、事後フィルタリングを要せず、どの程度のデータ品質を保証できるか？

主な発見

• 16-choose-4のグリッドレイアウト（1画面あたり48組の三つ組み）は、最も高品質な知覚的埋め込みを生成し、他のすべてのグリッド構成を上回った。
• 個々の三つ組みがより少ない情報を捉えている可能性があるにもかかわらず、グリッドベースの収集は、1回に1組の三つ組みを処理する方法よりも高い埋め込み品質を達成した。
• 作業者は平均して10秒未満で最大のグリッド（16-choose-4）を完了し、最も速い作業者は1タスクあたり2.1秒未満で800タスクを完了した。
• 1HITあたり0.10ドルの報酬率で、作業者の中央値報酬は時給10ドル以上に達し、最も速い作業者は時給17ドル以上を稼いだ。
• データのフィルタリングや資格要件を一切必要としなかった。キャッチトライアル（回答の20%）により、高いデータ品質が確認された。
• CKLの理論的情報量の最適化にもかかわらず、グリッドベースのアプローチは、埋め込み品質とコスト効率の両面で、適応的CKLサンプリング戦略を上回った。