[논문 리뷰] Cost-Effective HITs for Relative Similarity Comparisons

Michael J. Wilber, Iljung S. Kwak외 1명|arXiv (Cornell University)|2014. 04. 12.

Mobile Crowdsensing and Crowdsourcing참고 문헌 14인용 수 19

한 줄 요약

이 논문은 16개의 삼중 비교를 동시에 처리할 수 있는 격자 기반 사용자 인터페이스를 제안하여, 연구자가 한 화면에 최대 48개의 삼중 비교를 수집할 수 있도록 하여 효율성과 비용 절감을 가능하게 한다. 기존의 한 번에 하나의 삼중 비교만 처리하는 전통적인 MTurk 인터페이스보다 더 낮은 비용으로 임베딩 품질을 향상시키며, 16-choose-4 격자 레이아웃이 가장 우수한 성능을 보이며, 작업자들이 시간당 10달러 이상의 수익을 올릴 수 있도록 한다.

ABSTRACT

Similarity comparisons of the form "Is object a more similar to b than to c?" are useful for computer vision and machine learning applications. Unfortunately, an embedding of $n$ points is specified by $n^3$ triplets, making collecting every triplet an expensive task. In noticing this difficulty, other researchers have investigated more intelligent triplet sampling techniques, but they do not study their effectiveness or their potential drawbacks. Although it is important to reduce the number of collected triplets, it is also important to understand how best to display a triplet collection task to a user. In this work we explore an alternative display for collecting triplets and analyze the monetary cost and speed of the display. We propose best practices for creating cost effective human intelligence tasks for collecting triplets. We show that rather than changing the sampling algorithm, simple changes to the crowdsourcing UI can lead to much higher quality embeddings. We also provide a dataset as well as the labels collected from crowd workers.

연구 동기 및 목표

• 기존의 MTurk 인터페이스로 한 번에 하나의 삼중 비교를 수집하는 방식의 높은 비용과 비효율성을 해결하기 위해.
• 일괄 처리 및 격자 기반 인터페이스가 인지적 임베딩 품질을 향상시키면서도 비용과 시간을 절감할 수 있는지 조사하기 위해.
• 유사도 비교 데이터 수집을 위한 비용 효율적이고 고품질의 인간 지능 작업(HIT) 설계의 최적 실천 방안을 수립하기 위해.
• 실제 커뮤니티 기반 채용 환경에서 격자 크기, 작업자 노력, 임베딩 성능 간의 상호 상충 관계를 평가하기 위해.

제안 방법

• 프로브 이미지와 함께 n개의 이미지를 표시하고, 작업자가 k개의 가장 유사한 이미지를 선택하여 한 화면에 k(n−k)개의 삼중 비교를 생성하는 격자 인터페이스를 설계한다.
• 최대 48개의 삼중 비교를 생성하면서도 작업자 부담을 최소화하기 위해 16-choose-4 격자 레이아웃을 사용한다.
• 이 격자 인터페이스를 통해 인간 레이블이 부여된 삼중 비교를 수집하며, 데이터 품질을 확보하기 위해 전체 응답의 20%를 캐치 트라이얼로 설정한다.
• 표준 거리 학습 알고리즘을 사용하여 다양한 격자 크기(예: 4-choose-2, 8-choose-4, 12-choose-4, 16-choose-4)에서의 임베딩 품질을 비교한다.
• 작업자 소요 시간과 수익을 모니터링하여 공정한 보상과 높은 작업자 만족도를 확보한다.
• 합성 데이터와 인간 레이블 데이터를 모두 사용하여 CKL과 같은 적응형 샘플링 전략과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 격자 기반의 HIT 인터페이스는 기존의 한 삼중 비교씩 처리하는 방식보다 더 높은 품질의 인지적 유사도 임베딩을 제공하는가?
• RQ2 한 화면에 수집하는 삼중 비교의 수가 임베딩 품질과 비용 효율성에 어떤 영향을 미치는가?
• RQ3 작업자 만족도와 비용 효율성을 극대화하기 위해 격자 크기(n)와 선택된 아이템 수(k) 사이의 최적 균형은 무엇인가?
• RQ4 격자 기반 인터페이스를 사용한 일괄 삼중 비교 수집이, 정보 이득 최적화를 고려한 CKL과 같은 적응형 샘플링 알고리즘보다 유사도 임베딩 품질과 비용 측면에서 뛰어나게 되는가?
• RQ5 캐치 트라이얼을 통해 사후 필터링 없이도 얼마나 높은 수준의 데이터 품질을 확보할 수 있는가?

주요 결과

• 48개의 삼중 비교를 생성하는 16-choose-4 격자 레이아웃이 가장 높은 품질의 인지적 유사도 임베딩을 생성했으며, 다른 모든 격자 구성보다 뛰어난 성능을 보였다.
• 개별 삼중 비교가 더 적은 정보를 담을 수 있음에도 불구하고, 격자 기반 수집 방식이 한 삼중 비교씩 처리하는 전통적 방법보다 더 높은 임베딩 품질을 달성했다.
• 작업자들은 평균적으로 16-choose-4 격자(가장 큰 크기)를 10초 이내에 완료했으며, 가장 빠른 작업자들은 시간당 2.1초 이내로 800개의 작업을 완료했다.
• HIT당 0.10달러의 보상 기준으로 작업자들은 중앙값 기준 시간당 10달러 이상의 수익을 올렸으며, 가장 빠른 작업자들은 시간당 17달러 이상을 벌었다.
• 데이터 필터링이나 자격 요건 없이도 캐치 트라이얼(응답의 20%)을 통해 높은 수준의 데이터 품질을 확인할 수 있었다.
• CKL의 이론적 정보 이득 최적화를 고려한 전략에도 불구하고, 격자 기반 접근 방식이 임베딩 품질과 비용 효율성 측면에서 더 뛰어난 성능을 보였다.