[논문 리뷰] Consensus of Dependent Opinions

Sujoy Chatterjee, Anirban Mukhopadhyay외 1명|arXiv (Cornell University)|2016. 09. 06.

Mobile Crowdsensing and Crowdsourcing참고 문헌 5인용 수 4

한 줄 요약

이 논문은 사전 응답을 볼 수 있는 환경으로 인해 의견이 상호 의존성이 있는 컨소시엄 채용 시스템에서의 공감대 도출을 위한 새로운 프레임워크를 제안한다. 신뢰도, 신뢰성, 정확도의 감소를 측정하여 군중 작업자들의 의견을 가중치를 두어, 의견 의존성에도 불구하고 확신 있고 일관되며 정확한 기여자를 식별함으로써 공감대를 향상시킨다.

ABSTRACT

Providing opinions through labeling of images, tweets, etc. have drawn immense interest in crowdsourcing markets. This invokes a major challenge of aggregating multiple opinions received from different crowd workers for deriving the final judgment. Generally, opinion aggregation models deal with independent opinions, which are given unanimously and are not visible to all. However, in many real-life cases, it is required to make the opinions public as soon as they are received. This makes the opinions dependent and might incorporate some bias. In this paper, we address a novel problem, hereafter denoted as dependent judgment analysis, and discuss the requirements for developing an appropriate model to deal with this problem. The challenge remains to be improving the consensus by revealing true opinions.

연구 동기 및 목표

• 사전 응답을 볼 수 있는 환경으로 인해 의견이 의존적인 상황에서 정확한 공감대를 도출하는 데 도전 과제를 해결한다.
• 의견 의존성으로 인해 발생하는 편향(예: 타인의 의견에 편승하거나 과도한 자신감)을 식별하고, 그 영향을 측정 가능한 지표로 정량화한다.
• 독립적(사전) 및 의존적(사후) 의견을 통합하여 노동자의 신뢰성과 정확도를 평가하는 평가 분석 모델을 개발한다.
• 신뢰도 감소, 신뢰성, 정확도라는 새로운 지표를 도입하여 개인의 의견을 가중치를 두고 최종 공감대 정확도를 향상시킨다.
• 투명성과 실시간 의견 공개가 필수적인 개방형 컨소시엄 채용 플랫폼에서의 강력한 공감대 도출을 가능하게 한다.

제안 방법

• 의견 집계 과정을 (Q, W, τ, T)의 4중세트로 모델링하며, Q는 질문의 집합, W는 군중 작업자들, τ는 시간에 따른 의견 매핑, T는 도착 시간을 의미한다.
• ‘신뢰도 감소’를 정의하여, 작업자가 사전 독립적 의견과 사후 의존적 의견을 관찰한 후의 절대적 차이로 정의한다.
• 신뢰성을 계산하기 위해 개인의 의견 이탈과 모든 작업자 평균 이탈의 비율의 역수를 사용한다.
• 정확도를 정의하여, 작업자의 사후 의견과 해당 질문에 대한 모든 사후 의견의 평균과의 절대적 차이로 정의한다.
• 신뢰도 감소, 신뢰성, 정확도를 가중치로 사용하여 가중 평균 모델을 구성하고 최종 공감대 판단을 산출한다.
• 두 단계 데이터 수집 방식을 제안한다. 첫 번째로, 시각화되지 않은 독립적 의견을 수집하고, 두 번째로, 다른 이들의 점수를 본 후 의존적 의견을 수집하여 비교 및 지표 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 의견이 사전 응답의 가시성으로 인해 의존적인 컨소시엄 채용 시스템에서 공감대를 어떻게 향상시킬 수 있는가?
• RQ2 의견 의존성이 얼마나 심각한 편향을 유발하는가? 그리고 이를 측정 가능한 지표로 정량화할 수 있는가?
• RQ3 의존적 의견 환경에서 작업자의 확신, 일관성, 그룹과의 일치도를 효과적으로 측정할 수 있는 지표는 무엇인가?
• RQ4 사전 독립적 의견을 어떻게 활용하여 의존적 의견의 신뢰성과 정확도를 평가할 수 있는가?
• RQ5 신뢰도 감소, 신뢰성, 정확도를 기반으로 한 가중 공감대 모델이 의존적 의견 상황에서 기존의 집계 방법보다 우월한가?

주요 결과

• 신뢰도 감소 지표는 군중 작업자가 다른 이들의 의견을 본 후 자신의 의견을 얼마나 수정하는지를 효과적으로 측정하여, 편향 또는 확신 부족을 시사한다.
• 신뢰성은 개인의 이탈과 평균 이탈의 비율의 역수로 정의되며, 독립적 및 의존적 의견 단계 간의 작업자 일관성을 정량적으로 측정하는 데 기여한다.
• 정확도는 작업자의 사후 의견과 해당 질문에 대한 모든 사후 의견 평균과의 거리로 측정되며, 작업자가 그룹 공감대와 얼마나 밀접하게 일치하는지를 식별한다.
• 신뢰도 감소, 신뢰성, 정확도를 통합한 가중 평균 모델은 일관성 없거나 과도하게 타인의 의견에 편승하는 기여자를 저감시키며 공감대 품질을 향상시킨다.
• 두 단계 데이터 수집(독립적 의견 → 의존적 의견)은 작업자 행동과 의견 의존성에 대한 의미 있는 지표 유도를 가능하게 한다.
• 제안된 모델은 의견 공개가 본질적인 실제 개방형 컨소시엄 채용 플랫폼에 적용 가능하며, 의존적 판단 분석을 위한 기존 프레임워크의 부재를 보완하는 솔루션을 제공한다.