[논문 리뷰] Quality Enhancement by Weighted Rank Aggregation of Crowd Opinion

Sujoy Chatterjee, Anirban Mukhopadhyay외 1명|arXiv (Cornell University)|2017. 08. 31.

Mobile Crowdsensing and Crowdsourcing참고 문헌 9인용 수 4

한 줄 요약

이 논문은 위치 기반 점수와 동적 가중치를 사용하여 다수의 평가자 순위를 통합함으로써 커뮤니티 소싱에서 지상 진실 예측을 향상시키는 새로운 가중치 순위 집계 방법을 제안한다. 인위적 및 실제 AMT 데이터셋에서 최신 기술보다 뛰어난 성능을 보이며, RTE 데이터셋에서 93.37%의 정확도를 달성하여 공감 판단 형성에서 뛰어난 강건성과 정확성을 입증한다.

ABSTRACT

Expertise of annotators has a major role in crowdsourcing based opinion aggregation models. In such frameworks, accuracy and biasness of annotators are occasionally taken as important features and based on them priority of the annotators are assigned. But instead of relying on a single feature, multiple features can be considered and separate rankings can be produced to judge the annotators properly. Finally, the aggregation of those rankings with perfect weightage can be done with an aim to produce better ground truth prediction. Here, we propose a novel weighted rank aggregation method and its efficacy with respect to other existing approaches is shown on artificial dataset. The effectiveness of weighted rank aggregation to enhance quality prediction is also shown by applying it on an Amazon Mechanical Turk (AMT) dataset.

연구 동기 및 목표

• 단일 지표에 의존하는 것 대신, 다수의 평가자 순위를 통합하여 커뮤니티 소싱에서 지상 진실 예측을 향상시키는 것.
• 기존 순위 집계 방법의 한계를 해결하기 위해, 단일 품질 지표에 의존하거나 평가자 신뢰도 및 편향을 고려하지 못하는 문제를 해결하는 것.
• 유사도와 적합도에 기반해 순위에 중요도를 동적으로 할당하는 가중치 집계 프레임워크를 개발하여 공감 정확도를 향상시키는 것.
• 제어된 노이즈가 있는 합성 데이터셋과 실제 웹 기반 AMT 데이터에서 방법의 효과성을 검증하는 것.

제안 방법

• 가장 유사한 순서 쌍을 식별하기 위해, 가중치가 부여된 스피어만의 발자국 거리 거리 측정을 사용하여 입력 순위 간의 유사도 행렬을 계산한다.
• 부모 순위의 가중치를 사용하여 객체 점수의 가중 평균을 계산함으로써 가장 유사한 두 순위를 융합한다.
• 융합된 순위의 점수는 $\mathcal{MS}^{k} = \frac{w(R_1)\cdot a + w(R_2)\cdot b}{w(R_1)+w(R_2)}$로 계산되며, 여기서 $a$와 $b$는 동일한 객체가 두 순위에서 각각 가지는 점수이다.
• 새로운 융합된 순위의 가중치는 과거 성과(부모의 우수성)와 현재 적합도(모든 입력 순위와의 유사도)를 조합하여 업데이트된다.
• 반복적으로 가장 유사한 순위를 융합하여 최종적으로 단일 집계 순위를 형성한다.
• 위치 $k$에서 객체의 총 점수는 $\mathcal{SC}_k = \frac{m^2 - 2mk - m}{2}$로 유도되며, 이는 위치 기반 이득 점수와 보상 점수를 통합한 것이다.

실험 결과

연구 질문

• RQ1 제안된 가중치 순위 집계 방법은 노이즈 수준이 증가하는 조건에서 기존 순위 집계 기법 대비 얼마나 강건한가?
• RQ2 정확도, 특이도, 민감도 등의 다수 특징을 가중치 집계를 통해 통합하면 커뮤니티 소싱에서 지상 진실 예측이 향상되는가?
• RQ3 제안된 방법은 실생활 커뮤니티 소싱 데이터셋에서 다수결 투표 및 MACE와 같은 기준 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 동적 가중치 업데이트 메커니즘이 공감 순위 품질 향상에 얼마나 효과적인가?

주요 결과

• 제안된 방법은 표준편차 0.02를 가진 인위적 데이터셋에서 AUC 값 1.0406을 기록하여 MC4, Robust RA, Borda를 포함한 모든 다른 방법보다 뛰어난 성능을 보였다.
• 실제 AMT RTE 데이터셋에서 제안된 방법은 93.37%의 정확도를 달성하여 다수결 투표(89.88%), MACE(93.00%), Raykar(93.00%) 방법을 모두 능가했다.
• 노이즈가 많은 입력 순위를 처리하는 데서도 일관된 우수성을 보였으며, 고노이즈 수준에서도 입력 순위와 높은 유사도를 유지했다.
• 과거 성과와 현재 적합도를 조합한 동적 가중치 업데이트 메커니즘이 최종 집계 순위의 안정성과 정확도 향상에 기여했다.
• 위치 기반 이득 및 보상 점수의 사용은 단순 투표나 평균화보다 더 세밀하고 정확한 순위 집계를 가능하게 했다.
• 결과는 다수 특징을 고려하고 가중치 집계를 적용할 경우 단일 특징 또는 비가중치 집계 방법에 의존하는 것보다 더 나은 지상 진실 예측이 가능하다는 것을 확인한다.