[論文レビュー] Crowd Memory: Learning in the Collective

Walter S. Lasecki, Samuel White+2 more|arXiv (Cornell University)|Apr 17, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 12被引用数 23

ひとこと要約

本論文は、集団が経験と共有戦略を通じて時間の経過とともに知識を共同で学び、保持するという「クラウドメモリ」の概念を導入する。リアルタイムゲームとMechanical Turkの実験を通じて、クラウドが作業者世代を超えて知識を伝達できることを示し、高い転任率がある中でも動的タスクにおける継続的学習とパフォーマンス向上を可能にしている。

ABSTRACT

Crowd algorithms often assume workers are inexperienced and thus fail to adapt as workers in the crowd learn a task. These assumptions fundamentally limit the types of tasks that systems based on such algorithms can handle. This paper explores how the crowd learns and remembers over time in the context of human computation, and how more realistic assumptions of worker experience may be used when designing new systems. We first demonstrate that the crowd can recall information over time and discuss possible implications of crowd memory in the design of crowd algorithms. We then explore crowd learning during a continuous control task. Recent systems are able to disguise dynamic groups of workers as crowd agents to support continuous tasks, but have not yet considered how such agents are able to learn over time. We show, using a real-time gaming setting, that crowd agents can learn over time, and `remember' by passing strategies from one generation of workers to the next, despite high turnover rates in the workers comprising them. We conclude with a discussion of future research directions for crowd memory and learning.

研究の動機と目的

• クラウドが時間の経過とともに知識を共同で学び、記憶する方法を調査し、作業者が常に経験のない状態であるという仮定に挑戦すること。
• 作業者による入れ替えが繰り返される中でも、クラウドエージェントが記憶と戦略を維持できる継続的ヒューマンコンピュテーションタスクの実現可能性を探ること。
• 組織学習理論にインspiredされた、長期間にわたる知識の保持と移転を支援するシステムの設計。
• クラウドを1つの進化するエージェントとしてモデル化することで、より複雑で持続可能なタスクをヒューマンコンピュテーションシステムで可能にすること。
• 通信、デモンストレーションポイント、履歴ログが集団的記憶と学習をどのように強化できるかを検討すること。

提案手法

• 再募集された作業者を用いて、0〜12時間の期間にわたりクラウドメモリの保持を検証するため、Amazon Mechanical Turkで実験を実施した。
• リアルタイムゲーム環境（Legion）を用い、クラウドが単一のエージェントとして機能する継続的制御タスクをシミュレートした。
• 「デモンストレーションポイント」を実装した。これは、フィードバックを提供し、過去の知識をエンコードするイベントであり、新しい作業者に明示的な説明なしに暗黙のうちに知識を伝達可能にした。
• ランク付きフォーラムや自動イベントログ（例：スクリーンショット、動画）といったメカニズムを検討し、長期的な通信と知識共有を支援した。
• 複数のセッションにわたり、過去の作業者を重複して再募集することで、クラウドの集団的知識ベースを時間の経過とともに拡大する方法を提案した。
• 複数の作業者を活用して、個々の作業者よりも多くの情報を再構築・保持できる分散型認知的負荷と記憶を活用する可能性を調査した。

実験結果

リサーチクエスチョン

• RQ1 作業者の入れ替えや個々の記憶の薄れがある中でも、クラウドは時間の経過とともにタスク関連の知識を保持できるか？
• RQ2 継続的タスクにおいて、1世代目のクラウド作業者から次世代に知識を暗黙的に伝達する方法は何か？
• RQ3 高い作業者入れ替え率がある中でも、集団的学習と記憶を実現するためのメカニズムは何か？
• RQ4 通信と履歴ログは、クラウドにおける長期的な知識保持をどの程度向上できるか？
• RQ5 分散処理と共有記憶を活用することで、個々の作業者よりもクラウドエージェントの認知的負荷と記憶容量を拡大できるか？

主な発見

• クラウドは12時間の期間にわたり測定可能な記憶保持を示し、作業者記憶の薄れと再募集の効果の低下に伴いパフォーマンスが低下した。
• デモンストレーションポイントにより、明示的な説明なしに新しい作業者が効果的な戦略を継承できる暗黙の知識伝達が可能になった。
• 複数のセッションにわたり過去の作業者を重複して再募集することで、クラウドエージェントが時間の経過とともに知識ベースを拡大できた。
• 履歴ログとランク付きフォーラムの活用により、長期的な通信が可能になり、新しい作業者が過去の意思決定を関連して抽出しやすくなった。
• 分散処理と共有記憶のおかげで、クラウドエージェントは個々の作業者よりも拡張された作業記憶と高い認知的負荷を示す可能性を示した。
• 複数の作業者が情報を異なる部分を思い出せる仕組みにより、集団的記憶が、個々の作業者が達成できる記憶力よりも全体としての保持率が高くなった。