[논문 리뷰] Crowd Memory: Learning in the Collective

Walter S. Lasecki, Samuel White외 2명|arXiv (Cornell University)|2012. 04. 17.

Mobile Crowdsensing and Crowdsourcing참고 문헌 12인용 수 23

한 줄 요약

이 논문은 '군중 기억'이라는 개념을 소개한다—즉, 경험과 공유 전략을 통해 군중이 시간에 따라 함께 학습하고 지식을 유지하는 방식이다. 실시간 게임과 Mechanical Turk 실험을 통해 군중이 노동자 세대 간 지식을 전달함으로써 높은 이탈률에도 불구하고 동적 작업에서 지속적인 학습과 성능 향상을 가능하게 함을 입증한다.

ABSTRACT

Crowd algorithms often assume workers are inexperienced and thus fail to adapt as workers in the crowd learn a task. These assumptions fundamentally limit the types of tasks that systems based on such algorithms can handle. This paper explores how the crowd learns and remembers over time in the context of human computation, and how more realistic assumptions of worker experience may be used when designing new systems. We first demonstrate that the crowd can recall information over time and discuss possible implications of crowd memory in the design of crowd algorithms. We then explore crowd learning during a continuous control task. Recent systems are able to disguise dynamic groups of workers as crowd agents to support continuous tasks, but have not yet considered how such agents are able to learn over time. We show, using a real-time gaming setting, that crowd agents can learn over time, and `remember' by passing strategies from one generation of workers to the next, despite high turnover rates in the workers comprising them. We conclude with a discussion of future research directions for crowd memory and learning.

연구 동기 및 목표

• 군중이 시간에 따라 함께 지식을 학습하고 기억할 수 있는 방식을 조사하여, 군중 작업자가 항상 경험이 없는 것으로 보는 가정에 도전한다.
• 노동자 교체가 발생하더라도 기억과 전략을 유지하는 지속 가능한 인간 계산 작업의 가능성을 탐색한다.
• 조직 학습 이론에 영감을 받아 장기적인 지식 보존과 이행을 지원하는 시스템을 설계한다.
• 군중을 하나의 진화하는 에이전트로 모델링하여 인간-컴퓨터 시스템에서 더 복잡하고 지속 가능한 작업을 가능하게 한다.
• 의사소통, 시연 포인트, 이력 로그가 집단 기억과 학습을 어떻게 향상시킬 수 있는지 검토한다.

제안 방법

• 재모집된 노동자를 사용하여 0–12시간 동안 군중 기억 유지 여부를 테스트하기 위해 Amazon Mechanical Turk에서 실험을 실시했다.
• 군중이 단일 에이전트로 작동하는 실시간 게임 환경(Legion)을 사용하여 지속적인 제어 작업을 시뮬레이션했다.
• 시연 포인트를 구현—이를 통해 피드백을 제공하고 이전 지식을 인코딩함으로써 신규 노동자에게 암시적 지식 전달이 가능하도록 했다.
• 순위가 매겨진 포럼과 자동 이벤트 로깅(예: 스크린샷, 영상)과 같은 메커니즘을 탐색하여 장기적 의사소통과 지식 공유를 지원했다.
• 여러 세션에 걸쳐 이전 노동자들을 겹쳐 모집하여 군중의 집단 지식 기반을 시간에 따라 확장하는 방식을 제안했다.
• 다수의 노동자가 함께 정보를 재구성하고 보존함으로써 단일 노동자보다 더 많은 정보를 처리할 수 있도록 분산된 인지 부담과 기억을 활용하는 잠재력을 탐구했다.

실험 결과

연구 질문

• RQ1 노동자 교체와 개인 기억의 흐려짐에도 불구하고 군중이 시간이 지남에 따라 작업 관련 지식을 유지할 수 있는가?
• RQ2 지속적인 작업에서 한 세대의 군중 노동자에서 다음 세대로 지식을 암시적으로 전달하는 방법은 무엇인가?
• RQ3 높은 노동자 이탈률에도 불구하고 집단 학습과 기억을 가능하게 하는 메커니즘은 무엇인가?
• RQ4 의사소통과 이력 로그가 군중의 장기적 지식 보존에 얼마나 기여하는가?
• RQ5 분산 처리와 공유 기억을 통해 군중 에이전트의 인지 부담과 기억 용량이 단일 개인을 초월할 수 있는가?

주요 결과

• 군중은 12시간 동안 측정 가능한 기억 유지 능력을 보였으며, 노동자 기억이 흐려지고 재모집이 효과가 떨어지면서 성능이 저하됨을 확인했다.
• 시연 포인트를 통해 암시적 지식 전달이 가능해져, 명시적 지시 없이도 신규 노동자가 효과적인 전략을 습득할 수 있었다.
• 여러 세션에 걸쳐 이전 노동자를 겹쳐 모집함으로써 군중 에이전트가 시간이 지남에 따라 지식 기반을 확장할 수 있었다.
• 이력 로그와 순위가 매겨진 포럼의 사용은 장기적 의사소통을 지원했으며, 신규 노동자가 과거의 관련 결정을 쉽게 식별할 수 있도록 했다.
• 분산 처리와 공유 기억 덕분에 군중 에이전트는 단일 노동자보다 더 긴 작동 기억과 더 높은 인지 부담을 가질 잠재력을 보였다.
• 다수의 노동자가 서로 다른 부분의 정보를 기억함으로써 집단 기억이 형성되어, 단일 노동자가 달성할 수 있는 것보다 더 높은 총합 기억 보존이 가능했다.