[논문 리뷰] Crowdsourcing Dilemma

Victor Naroditskiy, Nicholas R. Jennings외 2명|arXiv (Cornell University)|2013. 04. 12.

Mobile Crowdsensing and Crowdsourcing참고 문헌 57인용 수 9

한 줄 요약

이 논문은 경쟁적 환경에서 커뮤니티 기반 모델의 생산성과 파손 공격에 대한 취약성 사이의 전략적 트레이드오프를 분석하는 게임 이론 모델을 제시한다. 연구 결과 악성 공격은 예외가 아니라 일반적인 현상이며, 공격 비용을 높임으로써 오히려 결과를 악화시키는 역설적인 현상이 나타나며, 이는 고비용 방어 전략보다 저손상 수준에서의 커뮤니티 기반 모델이 더 유리함을 시사한다.

ABSTRACT

Crowdsourcing offers unprecedented potential for solving tasks efficiently by tapping into the skills of large groups of people. A salient feature of crowdsourcing---its openness of entry---makes it vulnerable to malicious behavior. Such behavior took place in a number of recent popular crowdsourcing competitions. We provide game-theoretic analysis of a fundamental tradeoff between the potential for increased productivity and the possibility of being set back by malicious behavior. Our results show that in crowdsourcing competitions malicious behavior is the norm, not the anomaly---a result contrary to the conventional wisdom in the area. Counterintuitively, making the attacks more costly does not deter them but leads to a less desirable outcome. These findings have cautionary implications for the design of crowdsourcing competitions.

연구 동기 및 목표

• 커뮤니티 기반 모델의 생산성 향상과 경쟁적 환경에서의 파손 공격 취약성 사이의 전략적 트레이드오프를 분석하기 위해.
• 합리적인 전략적 유인 하에서 커뮤니티 기반 모델 경쟁에서 악성 행동이 이질적인 현상인지 일반적인 현상인지 조사하기 위해.
• 공격 비용과 손상 수준이 플레이어가 커뮤니티 기반 모델을 선택할지 또는 공격할지에 미치는 영향을 분석하기 위해.
• 악성 행동이 경쟁적 커뮤니티 기반 모델에서 사회적 복지와 균형 결과에 미치는 영향을 평가하기 위해.
• 향후 커뮤니티 기반 모델 경쟁 설계에 있어 위협 방지 전략의 의도치 않은 결과를 완화하기 위한 통찰을 제공하기 위해.

제안 방법

• 두 개의 위험 중립적 기업이 작업을 해결하기 위해 경쟁하는 형식의 게임 이론 모델로, 각 기업은 폐쇄 전략(S) 또는 개방 전략(C)을 선택한다.
• 플레이어들은 서로의 전략 선택을 완전히 관찰하며, 공격은 상대의 커뮤니티 기반 진전을 대상으로 한다.
• 모델은 해답 품질의 균일 분포를 가정하며, 손상은 공격이 진전을 방해할 수 있는 범위로 정의된다.
• 균형 분석은 지ay수행 행렬과 기대 효용 계산을 사용하여 대칭 및 비대칭 전략 프로파일에 집중한다.
• 모델은 공격 비용(c)과 손상 수준(d)의 영향을 분리하여, 이들이 균형 선택과 공격 빈도에 미치는 영향을 분석한다.
• CC(양측이 커뮤니티 기반 모델 사용), SS(양측이 폐쇄), 혼합 전략이 균형이 되는 조건을 분석하며, 공격 유인에 주목한다.

실험 결과

연구 질문

• RQ1 커뮤니티 기반 모델 경쟁에서 악성 행동은 합리적인 균형 결과이거나 이질적인 현상인가?
• RQ2 공격을 시작하는 데 드는 비용을 높이면, 경쟁적 커뮤니티 기반 모델에서 공격의 가능성과 빈도는 어떻게 변화하는가?
• RQ3 공격으로 인한 손상 수준과 플레이어가 채택하는 균형 전략 간의 관계는 무엇인가?
• RQ4 언제 커뮤니티 기반 모델이 유일한 균형 전략이 되며, 언제 파손 공격 유인으로 인해 실패하는가?
• RQ5 공격 비용과 손상 수준이 공동으로 경쟁적 커뮤니티 기반 모델에서 사회적 복지와 전체 효율성에 어떤 영향을 미치는가?

주요 결과

• 합리적인 플레이어들은 양측이 커뮤니티 기반 모델을 사용하고 성과가 유사할 경우 항상 공격 유인을 가지므로, 악성 행동은 이질적인 현상이 아니라 일반적인 현상이다.
• 공격 비용을 높여도 공격을 억제하지 못하며, 오히려 공격 빈도가 증가하고 전체 비용이 증가하여 더 효율성이 떨어지는 균형이 발생한다.
• 공격 비용이 높을 경우 CC(양측이 커뮤니티 기반 모델 사용) 균형은 가능하지만 지배적이지는 않으며, SS(양측이 폐쇄)는 여전히 타당한 균형이므로 커뮤니티 기반 모델 사용에 명확한 유인이 없다.
• 저손상 수준(d < 1/2)에서는 손상 위협이 미미하고 공격 유인이 약하기 때문에, 커뮤니티 기반 모델이 유일한 균형 전략이 된다.
• 양측이 커뮤니티 기반 모델을 사용하고 손상 범위 내에 있을 경우, 공격 비용과 관계없이 기대 공격 수는 항상 1로 유지되며, 이는 비용 증가가 공격 빈도를 감소시키지 않음을 의미한다.
• 사회적 복지는 양측이 커뮤니티 기반 모델을 사용하지 않을 때(즉, SS 결과) 최고로 달성되며, 이는 공격 유인과 관련 비용을 모두 제거하기 때문이다. 이는 생산성 저하를 감수하더라도 최적의 결과이다.