[논문 리뷰] Modeling Multiple Annotator Expertise in the Semi-Supervised Learning Scenario

Yan Yan, Rómer Rosales외 2명|arXiv (Cornell University)|2012. 03. 15.

Mobile Crowdsensing and Crowdsourcing참고 문헌 14인용 수 12

한 줄 요약

이 논문은 여러 평가자들이 데이터 포인트를 레이블링할 때 진정한 레이블과 개별 평가자 전문성을 동시에 추정하는 확률적 준지도 학습 모델을 제안한다. 레이블이 부여된 데이터와 레이블이 부여되지 않은 데이터를 모두 활용함으로써, 특히 자원이 제한된 레이블링 환경에서 표준 방법이 레이블이 부여되지 않은 데이터나 다수의 평가자 정보를 忽시하는 것과 비교해 예측 정확도를 향상시킨다.

ABSTRACT

Learning algorithms normally assume that there is at most one annotation or label per data point. However, in some scenarios, such as medical diagnosis and on-line collaboration,multiple annotations may be available. In either case, obtaining labels for data points can be expensive and time-consuming (in some circumstances ground-truth may not exist). Semi-supervised learning approaches have shown that utilizing the unlabeled data is often beneficial in these cases. This paper presents a probabilistic semi-supervised model and algorithm that allows for learning from both unlabeled and labeled data in the presence of multiple annotators. We assume that it is known what annotator labeled which data points. The proposed approach produces annotator models that allow us to provide (1) estimates of the true label and (2) annotator variable expertise for both labeled and unlabeled data. We provide numerical comparisons under various scenarios and with respect to standard semi-supervised learning. Experiments showed that the presented approach provides clear advantages over multi-annotator methods that do not use the unlabeled data and over methods that do not use multi-labeler information.

연구 동기 및 목표

• 레이블이 비용이 많이 들거나 기준 레이블이 모호한 상황에서 전문성이 다름에 따라 레이블을 제공하는 다수의 평가자로부터 학습하는 도전 과제를 해결하기 위해.
• 레이블이 부여되지 않은 데이터를 학습 과정에 통합하여 다수의 평가자 환경에서 레이블 추정과 전문성 모델링을 향상시키기 위해.
• 레이블이 부여된 데이터와 레이블이 부여되지 않은 데이터 모두에 대해 진정한 레이블과 개별 평가자 신뢰도를 동시에 추정하는 통합된 확률적 프레임워크를 개발하기 위해.
• 레이블이 부여되지 않은 데이터를 忽시하거나 평가자별 전문성을 모델링하지 못하는 기존 방법들을 능가하기 위해.

제안 방법

• 모델은 관측된 레이블에서 진정한 레이블과 평가자별 전문성 파rameter를 동시에 추론하는 생성적 확률적 프레임워크를 사용한다.
• 각 평가자의 레이블링 행동이 그들의 전문성으로 매개변수화된 확률적 분포를 따르는 것으로 가정하며, 이 전문성은 레이블이 부여된 데이터로부터 학습되고 레이블이 부여되지 않은 데이터에 의해 정규화된다.
• 기대치-최대화(EM) 알고리즘을 사용하여 진정한 레이블과 평가자 전문성을 반복적으로 추정하며, 레이블이 부여되지 않은 데이터를 활용해 레이블 신뢰도를 향상시킨다.
• 모델은 레이블 불확실성과 평가자 신뢰도를 가능도 함수에 통합하여, 노이즈가 많거나 일관성 없는 레이블이 존재하는 상황에서도 강인한 추론을 가능하게 한다.
• 평가자 행동과 진정한 레이블 간의 관계를 명시적으로 모델링함으로써, 레이블이 부여되지 않은 데이터 포인트에 대해서도 레이블과 전문성을 동시에 추정할 수 있다.
• 이 프레임워크는 이진 분류와 다중 분류 모두를 지원하며, 다수의 평가자와 많은 수의 레이블이 부여되지 않은 데이터를 포함한 데이터셋에 스케일링되도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 여러 평가자가 일관성 없는 레이블을 제공할 때, 어떻게 레이블 추정 정확도를 향상시킬 수 있는가?
• RQ2 레이블이 부여되지 않은 데이터를 통합할 경우, 다수의 평가자 환경에서 진정한 레이블과 평가자 전문성 추정에 얼마나 기여하는가?
• RQ3 통합된 확률적 모델이 레이블이 부여되지 않은 데이터를 활용하여 진정한 레이블과 평가자 신뢰도를 동시에 추정할 수 있는가?
• RQ4 제안된 방법은 표준 준지도 학습 및 다수의 평가자 학습 방법과 비교해 정확도와 강인성 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 레이블이 부여되지 않은 데이터를 사용하지 않는 다수의 평가자 학습 방법보다 뚜렷이 뛰어나며, 특히 레이블이 부족한 상황에서 그러한 성능 향상이 두드러진다.
• 레이블이 부여되지 않은 데이터를 통합함으로써 진정한 레이블과 평가자 전문성의 추정이 더욱 정확해지며, 레이블 불확실성이 감소한다.
• 기준 데이터셋에서 다수의 평가자가 참여한 상황에서 제안된 모델은 기준 방법보다 더 높은 F1 점수와 정확도 점수를 달성한다.
• 레이블이 부여된 데이터의 소수에 불과한 경우에도 평가자 전문성 추정치는 안정적이며 기준 신뢰도와 잘 일치한다.
• 모델은 레이블 노이즈와 다양한 수준의 평가자 전문성에 대해 강인성을 유지하며, 다양한 레이블링 환경에서 높은 성능을 유지한다.