[논문 리뷰] False Discovery Rate Control and Statistical Quality Assessment of Annotators in Crowdsourced Ranking

Qianqian Xu, Jiechao Xiong외 2명|arXiv (Cornell University)|2016. 05. 19.

Mobile Crowdsensing and Crowdsourcing참고 문헌 26인용 수 5

한 줄 요약

이 논문은 고정 효과로 모델링된 평가자 위치 편향을 고려하여 커뮤니티 기반 순위 매기기에서 잘못된 발견률(FDR)을 탐지하고 제어하기 위한 통계적 프레임워크를 제안한다. 혼합된 희박 및 비희박 매개변수에 적응한 노크오프 필터를 도입하고, 스케일링된 스케일 스페이스 역동성과 선형화된 브레그만 반복을 사용하여 확장 가능하고 편향이 없는 추정을 수행함으로써, 사전에 그 수를 알지 못하더라도 편향된 평가자를 신뢰성 있게 식별할 수 있도록 한다.

ABSTRACT

With the rapid growth of crowdsourcing platforms it has become easy and relatively inexpensive to collect a dataset labeled by multiple annotators in a short time. However due to the lack of control over the quality of the annotators, some abnormal annotators may be affected by position bias which can potentially degrade the quality of the final consensus labels. In this paper we introduce a statistical framework to model and detect annotator's position bias in order to control the false discovery rate (FDR) without a prior knowledge on the amount of biased annotators - the expected fraction of false discoveries among all discoveries being not too high, in order to assure that most of the discoveries are indeed true and replicable. The key technical development relies on some new knockoff filters adapted to our problem and new algorithms based on the Inverse Scale Space dynamics whose discretization is potentially suitable for large scale crowdsourcing data analysis. Our studies are supported by experiments with both simulated examples and real-world data. The proposed framework provides us a useful tool for quantitatively studying annotator's abnormal behavior in crowdsourcing data arising from machine learning, sociology, computer vision, multimedia, etc.

연구 동기 및 목표

• 특히 '보기 싫은' 및 '나쁜' 평가자로부터 기인하는 위치 편향을 체계적으로 탐지할 수 있는 방법의 부재를 해결한다.
• 다수 투표와 같은 전통적 이상치 탐지 기법이 편향된 평가자로 인한 전역적 순위 불일치를 식별하지 못하는 한계를 극복한다.
• 편향된 평가자 수에 대한 사전 지식이 필요 없이 잘못된 발견률(FDR)을 제어하는 통계적 프레임워크를 개발한다.
• 효율적 최적화 기법을 활용하여 대규모 커뮤니티 기반 데이터에서 평가자 편향을 확장 가능하고 정확하게 탐지할 수 있도록 한다.
• 공동 레이블의 높은 신뢰성 보장을 위해 순위 작업에서 평가자의 품질 평가를 위한 강건하고 재현 가능한 방법을 제공한다.

제안 방법

• 평가자별 위치 편향을 고정 효과로 모델링한 선형 모델을 설정하여 체계적인 순서 선호도를 포착한다.
• 희박 및 비희박 매개변수를 모두 포함하는 설정에서 FDR 제어를 위한 노크오프 필터를 적응시켜 혼합 매개변수 모델에 대한 적용 가능성을 확장한다.
• 변수 선택을 위한 연속시간 프레임워크로 역스케일 스페이스(ISS) 역동성을 활용하여 편향 없는 추정을 가능하게 한다.
• 기울기 강하와 소프트 스레시홀딩을 조합한 안정적이고 확장 가능한 ISS 역동성의 이산화로 사용하는 선형화된 브레그만 반복(LBI)을 적용한다.
• LASSO 유형 추정기의 내재된 편향을 보정하기 위한 탈편향 단계를 도입하여 추정 정확도를 향상시킨다.
• LBI의 조기 정지 전략을 통해 동적 추정과 FDR 제어를 통합함으로써 통계적 신뢰성과 계산 효율성을 동시에 확보한다.

실험 결과

연구 질문

• RQ1 편향된 평가자 수에 대한 사전 지식이 없이도 커뮤니티 기반 이원 비교 순위 매기기에서 위치 편향을 어떻게 체계적으로 모델링하고 탐지할 수 있는가?
• RQ2 희박 및 비희박 매개변수 혼합 설정에서 노크오프 필터를 어떻게 적응시켜 평가자 편향 존재 하에 FDR 제어를 달성할 수 있는가?
• RQ3 역스케일 스페이스 역동성과 그 LBI 이산화 방식은 기존 LASSO 대비 추정 정확도 향상과 확장성 향상에 어느 정도 기여하는가?
• RQ4 제안된 프레임워크는 전역적 순위 불일치를 유발하는 '보기 싫은' 및 '나쁜' 평가자를 얼마나 효과적으로 식별할 수 있는가?
• RQ5 검출된 편향된 평가자 중 잘못된 발견의 기대 비율을 제어함으로써 결과의 높은 재현 가능성을 확보할 수 있는가?

주요 결과

• 제안된 프레임워크는 행동이 혼합되거나 미묘한 경우에도 '보기 싫은' 및 '나쁜' 평가자 모두를 성공적으로 탐지한다.
• 편향된 평가자의 희박성 수준에 대한 사전 지식이 없이도 FDR 제어를 달성하여, 검출된 평가자 중 잘못된 양성의 비율이 사전 설정된 최대 비율 이하로 유지됨을 보장한다.
• 역스케일 스페이스와 선형화된 브레그만 반복 방식은 LASSO와 유사한 조건 하에서 편향 없는 추정기를 제공하지만, 더 높은 계산 효율성과 확장성을 확보한다.
• 시뮬레이션 및 실세계 데이터셋에 대한 실험 결과는 이 방법이 편향된 평가자를 효과적으로 식별하고 공통 레이블의 품질을 향상시킴을 확인한다.
• 노크오프 필터의 적응은 이원 비교 데이터에서 흔히 발생하는 종속성 구조 하에서도 유효한 FDR 제어를 가능하게 하여, 전통적 방법보다 전역적 불일치를 더 잘 탐지한다.
• LBI의 저비용 및 단일 경로 특성 덕분에 대규모 커뮤니티 기반 응용에 적합하여 실시간 또는 근접 실시간 분석이 가능하다.