[논문 리뷰] GPM: A Generic Probabilistic Model to Recover Annotator's Behavior and Ground Truth Labeling

Jing Li, Suiyi Ling외 3명|arXiv (Cornell University)|2020. 03. 01.

Mobile Crowdsensing and Crowdsourcing참고 문헌 28인용 수 4

한 줄 요약

이 논문은 지능형 확률 모델인 GPM을 제안하며, 지능형 지도값을 단일 값이 아닌 범주형 분포로 모델링하여 진정한 레이블과 평가자 행동을 복원한다. 잠재 변수와 EM 기반 최대우도추정(MLE)을 사용하여 신뢰할 수 없는 평가자(예: 무작위, 반복, 악성)를 탐지하고, 이는 이산, 연속, 순서형 레이블링 작업 전반에서 최신 기술 대비 정확도와 강건성 면에서 뛰어난 성능을 보인다.

ABSTRACT

In the big data era, data labeling can be obtained through crowdsourcing. Nevertheless, the obtained labels are generally noisy, unreliable or even adversarial. In this paper, we propose a probabilistic graphical annotation model to infer the underlying ground truth and annotator's behavior. To accommodate both discrete and continuous application scenarios (e.g., classifying scenes vs. rating videos on a Likert scale), the underlying ground truth is considered following a distribution rather than a single value. In this way, the reliable but potentially divergent opinions from "good" annotators can be recovered. The proposed model is able to identify whether an annotator has worked diligently towards the task during the labeling procedure, which could be used for further selection of qualified annotators. Our model has been tested on both simulated data and real-world data, where it always shows superior performance than the other state-of-the-art models in terms of accuracy and robustness.

연구 동기 및 목표

• 공동 레이블링 데이터에서 노이즈가 많거나 신뢰할 수 없거나 악성인 레이블 문제를 해결한다.
• 기존 모델이 단일 진정한 레이블 값만 가정하고 다양한 평가자 행동을 모델링하지 못하는 한계를 극복한다.
• 진정한 레이블을 단일 값이 아닌 범주형 분포로 모델링하여 이산, 연속, 순서형 레이블링 작업 전반에서 강건한 진정한 레이블 추론을 가능하게 한다.
• 신뢰할 수 있는 평가자로부터의 타당한 의견 차이를 유지하면서 무작위, 반복, 악성 행동 등 다양한 유형의 신뢰할 수 없는 평가자 행동을 탐지하고 모델링한다.
• 실제 및 시뮬레이션 데이터에 적용 가능한 일반적이고 확장 가능한 프레임워크를 제공하여 정확도와 강건성을 향상시킨다.

제안 방법

• 공동 레이블링 작업에서 진정한 레이블을 단일 값이 아닌 범주형 분포로 모델링하여 공감대와 타당한 의견 차이를 포착한다.
• 평가자가 레이블링 도중 신뢰할 수 있는 행동과 신뢰할 수 없는 행동을 전환할 확률을 나타내는 잠재 변수를 도입한다.
• 기대값 최대우도추정(EM) 알고리즘을 통해 진정한 레이블 분포와 평가자 신뢰도를 동시에 추정하기 위해 최대우도추정(MLE)을 사용한다.
• 무작위, 반복, 뒤집힌 행동 등 신뢰할 수 없는 행동을 레이블에 대한 균일 분포로 모델링하여 파rameter 추정을 통해 탐지한다.
• 진정한 레이블 분포의 엔트로피를 통해 작업 난이도를 추정하고, 활성 레이블링 전략을 가능하게 한다.
• 모델을 시뮬레이션 및 실제 데이터셋(예: 얼굴 감정, MovieLens, Crowd Flower)에 적용하여 검증한다.

실험 결과

연구 질문

• RQ1 진정한 레이블을 단일 값이 아닌 분포로 모델링함으로써, 이산, 연속, 순서형 레이블링 작업 전반에서 효과적으로 진정한 레이블을 복원할 수 있는가?
• RQ2 실제 공동 레이블링 환경에서 다양한 유형의 신뢰할 수 없는 평가자 행동(예: 무작위, 반복, 악성)을 탐지하고 구분할 수 있는가?
• RQ3 모든 의견 차이를 노이즈로 간주하는 기존 모델 대비, 신뢰할 수 있는 의견 차이를 모델링함으로써 진정한 레이블 복원 성능이 얼마나 향상되는가?
• RQ4 실제 데이터셋에서 최신 기술 대비 정확도와 강건성 면에서 성능이 어떻게 비교되는가?(예: D&S, GLAD, Ord-bin)
• RQ5 추정된 평가자 신뢰도와 작업 난이도(엔트로피 기반)는 활성 레이블링 또는 평가자 선택과 같은 후속 응용에 활용될 수 있는가?

주요 결과

• Face emotion 데이터셋에서 제안된 모델은 분류 정확도(F1) 0.5431을 기록하여 D&S(0.5356)와 GLAD(0.5155)를 능가했고, 최고 성능을 기록한 Ord-bin 모델과 동일한 성능을 보였다.
• MovieLens 20M 데이터셋에서 제안된 모델은 PLCC 0.8620, SROCC 0.8420, RMSE 0.2228을 기록하여 D&S(PLCC: 0.4073, RMSE: 1.2287)와 GLAD(RMSE: 0.6361)를 크게 능가했다.
• Crowd Dog 데이터셋에서 스팸성 비율 0%를 기록하여 높은 데이터 신뢰도를 보였고, 여러 데이터셋에서 D&S 대비 강건성 면에서 뛰어난 성능을 보였다.
• 연속 및 순서형 레이블링 작업에서 특히 뛰어난 성능을 보였으며, D&S 및 GLAD와 같이 이산 레이블 전용 모델 대비 뛰어난 성능을 보였다.
• 추정된 진정한 레이블 분포는 타당한 의견 차이를 잘 포착했고, 엔트로피 기반으로 작업 난이도가 효과적으로 추정되어 활성 학습 응용에 활용 가능할 것으로 보였다.
• 불규칙한 평가자 행동에 대해 강건성을 입증하였으며, MovieLens에서 스팸성 비율 1%, Crowd Dog에서 0%를 기록하여 저품질 기여를 효과적으로 식별하고 필터링할 수 있음을 확인했다.