[논문 리뷰] Crowd computing: a survey

Jafar Muhammadi, Hamid R. Rabiee|arXiv (Cornell University)|2013. 01. 13.

Mobile Crowdsensing and Crowdsourcing참고 문헌 63인용 수 7

한 줄 요약

이 종합 검토는 분류 문제를 해결하기 위해 다중 확인 시나리오를 활용하는 체계적인 프레임워크를 제안하며, 해결 품질을 향상시키는 데 초점을 맞춘다. 인간의 편향, 노이즈, 전문 지식의 국한 등의 과제를 해결하기 위해 현재의 방법을 분석하고, 군중 기반 시스템을 최적화하기 위한 지침을 제시한다.

ABSTRACT

Crowd computing empowers computer systems by utilizing humans' perception, and their ability to solve non-algorithmic problems. In this approach, a group of humans are asked to contributively solve a problem that cannot be solved easily by individuals, or perfectly by computers. However, there are complexities in using humans to solve problems. Lack of generative models, complex cost models, lower speed in comparison to computers, limitation of knowledge and skills, noise, bias and error are examples of such complexities. An optimized crowd computing system should overcome these complexities, and improve the quality of solutions. This paper includes answers to three main questions: What is crowd computing? Why should one use crowd computing? And, how to use crowd computing? We will briefly answer the two former questions, while we will focus more on the latter one, specially on solving classification problems using multiple checking scenario. In addition, we will compare the current methods of crowed computing, and provide some guidelines for future works based on the current open issues in this field.

연구 동기 및 목표

• 군중 계산을 정의하고, 비알고리즘 문제 해결에서 그 역할을 명확히 하기 위해.
• 계산 능력 이상의 과제에 군중 계산이 유용한 이유를 설명하기 위해.
• 특히 분류 과제에서 효과적으로 군중 계산을 활용하는 방법에 대한 종합적 분석을 제공하기 위해.
• 인간 기반 계산에서의 편향, 노이즈, 비용 등의 핵심 과제를 특정하기 위해.
• 분야 내 열린 문제들을 바탕으로 향후 연구를 위한 실천 가능한 지침을 제공하기 위해.

제안 방법

• 논문은 인간의 지각 능력과 인지 능력을 활용하는 협업 문제 해결 접근 방식으로 군중 계산을 정의한다.
• 중복성과 합의를 통해 분류 결과를 검증하고 향상시키기 위해 다중 확인 시나리오를 제안한다.
• 결정 과정에서의 노이즈와 편향을 줄이기 위해 다수의 인간 입력을 집계하는 방법을 포함한다.
• 분류 과제에서의 효과성을 중심으로 기존 군중 계산 기법을 비교한다.
• 자원 할당 최적화를 위해 비용 모델링과 품질 제어를 프레임워크에 통합한다.
• 인간 행동을 시뮬레이션하고 해결의 신뢰성을 평가하기 위해 생성 모델을 사용한다.

실험 결과

연구 질문

• RQ1 군중 계산은 무엇으로 정의되며, 전통적 계산과 어떻게 다릅니까?
• RQ2 비알고리즘적 또는 복잡한 인간 중심 문제 해결을 위해 군중 계산이 필요한 이유는 무엇입니까?
• RQ3 다중 확인 메커니즘을 활용해 군중 계산을 분류 과제에 효과적으로 적용할 수 있는 방법은 무엇입니까?
• RQ4 현재 군중 계산 시스템에서의 주요 제한 사항과 과제는 무엇입니까?
• RQ5 기존 열린 문제들을 바탕으로 향후 연구를 위한 지침을 도출할 수 있는가?

주요 결과

• 군중 계산은 알고리즘만으로는 해결하기 어려운 문제를 인간의 직관과 지각 능력을 활용하여 효과적으로 해결한다.
• 다중 확인 시나리오는 개인의 오류와 편향을 줄여 해결 품질을 크게 향상시킨다.
• 표준화된 생성 모델 부족과 복잡한 비용 함수는 시스템 최적화의 주요 장애물로 남아 있다.
• 인간 응답의 노이즈와 변동성은 강력한 집계 및 검증 기법이 필요함을 시사한다.
• 현재 방법들은 신뢰성 면에서 괴리가 크므로 통합된 평가 프레임워크의 필요성이 강하게 제기된다.
• 향후 연구는 확장 가능하고 비용 효율적이며 편향에 강건한 군중 계산 아키텍처에 집중해야 한다.