[논문 리뷰] Crowd & Prejudice: An Impossibility Theorem for Crowd Labelling without a Gold Standard

Nicolás Della Penna, Mark D. Reid|arXiv (Cornell University)|2012. 04. 16.

Auction Theory and Applications참고 문헌 18인용 수 11

한 줄 요약

이 논문은 골드 표준 데이터가 없는 군중 레이블링 알고리즘은 전략적 균형으로 인해 본질적으로 결함이 있음을 보여준다. 이 균형에서는 모든 작업자들이 유의미하지 않은 '편견'을 공유하며 진실된 레이블을 reporting하지 않는다. 핵심 결과는 불가능성 정리이다: 골드 데이터가 없으면 메커니즘이 진실된 레이블링과 편견 기반 레이블링을 신뢰성 있게 구분할 수 없지만, 골드 데이터가 약간만 있더라도 이러한 균형을 제거하고 진실된 레이블링을 지배 전략으로 강제할 수 있다.

ABSTRACT

A common use of crowd sourcing is to obtain labels for a dataset. Several algorithms have been proposed to identify uninformative members of the crowd so that their labels can be disregarded and the cost of paying them avoided. One common motivation of these algorithms is to try and do without any initial set of trusted labeled data. We analyse this class of algorithms as mechanisms in a game-theoretic setting to understand the incentives they create for workers. We find an impossibility result that without any ground truth, and when workers have access to commonly shared 'prejudices' upon which they agree but are not informative of true labels, there is always equilibria where all agents report the prejudice. A small amount amount of gold standard data is found to be sufficient to rule out these equilibria.

연구 동기 및 목표

• 골드 표준이 없는 군중 레이블링 알고리즘을 게임 이론적 메커니즘으로 분석하여 숨겨진 인centives를 드러내기.
• 작업자들이 비정보적인 공통된 편견을 공유할 경우 이러한 알고리즘이 왜 진실된 레이블을 유도하지 못하는지 규명하기.
• 최소한의 골드 표준 데이터가 편견 기반 균형을 제거하고 진실된 레이블링을 복원할 수 있음을 보여주기.
• 기본 진실이 없이도 메커니즘이 사전 지식 없이 정보가 풍부한 작업자를 신뢰성 있게 식별할 수 있는 조건을 설정하기.

제안 방법

• 작업자들이 고용을 극대화하기 위해 전략적으로 레이블을 선택하는 게임 이론적 메커니즘으로 군중 레이블링을 모델링한다.
• 작업자들이 공유할 수 있는 비정보적인 레이블링 패턴인 '편견'을 도입한다.
• 골드 데이터 없이 나시 균형을 분석하여, 모든 작업자가 진실된 레이블링보다 편견을 합리적으로 선택할 수 있음을 보여준다.
• 골드 표준 데이터를 사용해 편견에서 벗어나는 작업자를 식별하고, 이로 인해 다른 작업자들로의 레이블 일치를 통해 추론할 수 있도록 한다.
• 레이블링된 데이터 포인트 간의 겹침(또는 특징-레이블 매핑)을 적용하여, 알려진 골드 검증 작업자로부터 다른 작업자로 신뢰를 확산시킨다.
• 골드 데이터가 진실된 레이블링을 지배 전략으로 만들고, 편견 기반 균형을 제거함을 입증한다.

실험 결과

연구 질문

• RQ1 골드 표준 데이터가 없을 경우, 작업자들이 공통된 무의미한 편견을 공유할 때, 골드 표준이 없는 군중 레이블링 메커니즘은 진실된 레이블을 안정적으로 식별할 수 있는가?
• RQ2 기본 진실이 없을 경우 어떤 전략적 균형이 발생하며, 이러한 균형은 진실된 레이블링 보고를 방해하는가?
• RQ3 소량의 골드 표준 데이터 접근이 공통된 편견 기반 균형을 어떻게 붕괴시키는가?
• RQ4 골드 데이터가 진실된 레이블링을 정보가 풍부한 작업자에게 지배 전략으로 만드는 조건은 무엇인가?
• RQ5 골드 데이터를 사용하는 메커니즘은 레이블 일치 패턴을 통해 편견 있는 작업자와 진실된 작업자를 모두 식별할 수 있는가?

주요 결과

• 골드 표준 데이터가 없을 경우, 어떤 작업자의 진실된 지식과는 무관하게 항상 모든 작업자가 공유하는 비정보적인 편견을 보고하는 나시 균형이 존재한다.
• 이러한 균형에서 메커니즘은 관찰된 행동이 동일하기 때문에 진실된 레이블링과 편견 기반 레이블링을 구분할 수 없다.
• 조금의 골드 표준 데이터가 존재함으로써, 메커니즘이 골드 레이블에서 벗어나는 작업자를 식별할 수 있게 되어 편견 기반 균형이 깨진다.
• 골드 데이터를 통해 메커니즘은 진실된 작업자를 식별하고, 레이블 일치를 통해 신뢰를 확산시켜 결국 모든 작업자를 정확히 분류할 수 있다.
• 골드 데이터가 있으면 정보가 풍부한 작업자에게 진실된 레이블링이 지배 전략이 되어 편견을 따르는 유인을 제거한다.
• 골드 데이터를 활용해 데이터 포인트의 겹침 또는 특징-레이블 매핑의 일치를 통해 편견 있는 작업자와 진실된 작업자를 모두 성공적으로 식별할 수 있다.