[논문 리뷰] Active Learning for Crowd-Sourced Databases

Barzan Mozafari, Purnamrita Sarkar외 3명|arXiv (Cornell University)|2012. 09. 17.

Machine Learning and Algorithms참고 문헌 63인용 수 32

한 줄 요약

이 논문은 인간 라벨러의 비용을 최소화하기 위해 군중 기반 데이터베이스에 적합한 두 가지 새로운 주동 학습 알고리즘—Uncertainty 및 MinExpError—을 제안한다. 이 알고리즘들은 분류기를 블랙박스로 간주하고, 비모수적 부트스트랩을 사용해 불확실성을 추정하며, 배치 처리와 병렬 처리를 지원한다. 제안된 방법은 기존 기준 대비 라벨링 요청 수를 1–2개 정도 감소시켜 실제 데이터셋과 UCI 데이터셋에서 기존 주동 학습 방법보다 4.5–44배 적은 요청 수를 달성한다.

ABSTRACT

Crowd-sourcing has become a popular means of acquiring labeled data for a wide variety of tasks where humans are more accurate than computers, e.g., labeling images, matching objects, or analyzing sentiment. However, relying solely on the crowd is often impractical even for data sets with thousands of items, due to time and cost constraints of acquiring human input (which cost pennies and minutes per label). In this paper, we propose algorithms for integrating machine learning into crowd-sourced databases, with the goal of allowing crowd-sourcing applications to scale, i.e., to handle larger datasets at lower costs. The key observation is that, in many of the above tasks, humans and machine learning algorithms can be complementary, as humans are often more accurate but slow and expensive, while algorithms are usually less accurate, but faster and cheaper. Based on this observation, we present two new active learning algorithms to combine humans and algorithms together in a crowd-sourced database. Our algorithms are based on the theory of non-parametric bootstrap, which makes our results applicable to a broad class of machine learning models. Our results, on three real-life datasets collected with Amazon's Mechanical Turk, and on 15 well-known UCI data sets, show that our methods on average ask humans to label one to two orders of magnitude fewer items to achieve the same accuracy as a baseline that labels random images, and two to eight times fewer questions than previous active learning schemes.

연구 동기 및 목표

• 대규모 데이터셋으로의 확장성을 위해 인간 라벨링 비용을 최소화함으로써 군중 기반 데이터베이스를 가능하게 하기 위해.
• 분류기 내부를 수정하지 않아도 비전문가가 사용할 수 있도록 일반적이고 확장성 있는 주동 학습 알고리즘을 설계하기 위해.
• 실제 군중 기반 학습 시스템에 구현 가능한 실용적 배포를 위해 주동 학습에서 배치 처리와 병렬 처리를 지원하기 위해.
• 모든 라벨러의 품질이 동일하다는 가정 없이도 신뢰할 수 없는 군중 작업자로부터 발생하는 레이블 노이즈를 관리하기 위해.
• 높은 모델 정확도를 유지하면서도 인간 라벨링 예제의 수를 줄이기 위해.

제안 방법

• 비모수적 부트스트랩을 사용해 미라벨링된 데이터에 대해 다수의 분류기 예측을 생성함으로써, 분류기 내부를 수정하지 않고도 불확실성을 추정할 수 있도록 한다.
• Uncertainty 알고리즘을 사용해 부트스트랩 샘플 간 예측 분산이 가장 큰 인스턴스를 선별함으로써 가장 정보가 많은 라벨링 대상으로 선정한다.
• MinExpError 알고리즘을 적용해 기대 오차를 최소화하기 위해, 모델이 가장 불확실하고 오차 감소 잠재력이 높은 인스턴스를 선택한다.
• 다수의 인스턴스를 동시에 처리함으로써 배치 처리와 병렬 처리를 지원하여 군중 기반 워크플로우에서 런타임 효율성을 향상시킨다.
• 분류기를 블랙박스로 간주하여 내부 파rameter에 대한 접근이나 학습 프로세스 수정이 필요 없도록 한다.
• 초기 설정 및 반복 설정 모두에서 적응형 쿼리 선택을 통합하고, 각 배치 후 모델을 재학습시어 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 분류 작업에 일반적으로 적용 가능한 주동 학습이 군중 기반 데이터베이스에 효과적으로 적용될 수 있는가?
• RQ2 내부 수정 없이도 임의의 분류기와 함께 작동할 수 있도록 주동 학습을 설계할 수 있는가?
• RQ3 배치 처리와 병렬 처리가 군중 기반 학습 시스템에서 주동 학습의 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 실제로 신뢰할 수 없는 군중 작업자로부터 발생하는 레이블 노이즈를 제안된 방법이 어떻게 다루는가?
• RQ5 부트스트랩 기반의 불확실성 추정 방식이 기존 주동 학습 전략보다 쿼리 효율성 측면에서 뛰어나게 작용할 수 있는가?

주요 결과

• 제안된 알고리즘은 세 개의 실제 Mechanical Turk 데이터셋에서 기준 방법 대비 라벨링 요청 수를 1–2개 정도 감소시켰다.
• 15개의 UCI 데이터셋에서, 기존 주동 학습 알고리즘인 IWAL 및 Bootstrap-LV와 비교해 4.5–44배 적은 라벨링 요청 수를 달성했다.
• Uncertainty 및 MinExpError 알고리즘은 MarginDistance, CrowdER, CVHull와 같은 도메인 특화 접근법보다 쿼리 효율성과 정확도에서 뛰어난 성능을 보였다.
• 반복적 재학습 설정이 초기 설정보다 더 높은 모델 정확도를 달성하여 적응형 쿼리 선택의 이점을 입증했다.
• 배치 처리가 라벨링 품질을 희생시키지 않고도 런타임 성능을 크게 향상시켜 생산 환경에서의 확장 가능한 구현을 가능하게 했다.
• 블랙박스이자 부트스트랩 기반의 접근 방식은 다양한 분류 작업에 일반화되며, 기반 분류기나 데이터 분포에 대한 가정이 필요하지 않다.