[논문 리뷰] Using the Crowd to Generate Content for Scenario-Based Serious-Games

Sigal Sina, Sarit Kraus외 1명|arXiv (Cornell University)|2014. 02. 20.

Artificial Intelligence in Games참고 문헌 24인용 수 4

한 줄 요약

이 논문은 경찰 수사와 같은 훈련 응용 분야에서 사용되는 시나리오 기반 심각한 게임을 위한 다양하고 일관되며 신뢰할 수 있는 시나리오 콘텐츠를 자동으로 생성하기 위해 커뮤니티 기반 방법을 제안한다. 아마존 메카니컬 터크(AMT)를 활용하여 일상적인 활동과 그 변형을 데이터베이스화하고, k-최근접 이웃(k-NN) 및 '채우고 조정하기' 방식을 사용하여 콘텐츠를 생성함으로써, 수작업으로 제작하거나 계획 기반 대안과 유사한 신뢰성 있는 시나리오를 생성한다. 이는 훨씬 더 확장 가능하고 다양한 결과를 낳는다.

ABSTRACT

In the last decade, scenario-based serious-games have become a main tool for learning new skills and capabilities. An important factor in the development of such systems is the overhead in time, cost and human resources to manually create the content for these scenarios. We focus on how to create content for scenarios in medical, military, commerce and gaming applications where maintaining the integrity and coherence of the content is integral for the system's success. To do so, we present an automatic method for generating content about everyday activities through combining computer science techniques with the crowd. We use the crowd in three basic ways: to capture a database of scenarios of everyday activities, to generate a database of likely replacements for specific events within that scenario, and to evaluate the resulting scenarios. We found that the generated scenarios were rated as reliable and consistent by the crowd when compared to the scenarios that were originally captured. We also compared the generated scenarios to those created by traditional planning techniques. We found that both methods were equally effective in generated reliable and consistent scenarios, yet the main advantages of our approach is that the content we generate is more varied and much easier to create. We have begun integrating this approach within a scenario-based training application for novice investigators within the law enforcement departments to improve their questioning skills.

연구 동기 및 목표

• 법률 집행, 헬스케어, 군사 훈련과 같은 분야에서 심각한 게임의 수작업 기반 시나리오 콘텐츠 제작에 소요되는 높은 시간, 비용, 자원 소모를 줄이기 위해.
• 훈련 응용 분야에서 개인화되고 다양한 시나리오를 생성할 때 콘텐츠의 통합성과 일관성을 유지하기 위해.
• 내용 기반 훈련 시스템을 위한 전통적인 계획 기반 콘텐츠 생성에 비해 확장 가능하고 저비용인 대안을 개발하기 위해.
• 커뮤니티 기반으로 생성된 시나리오의 신뢰성과 일관성 여부를 원본 및 계획 기반 콘텐츠와 비교 평가하기 위해.
• 초보 수사관에게 반복적이고 다양한 훈련 사례를 자동 시나리오 생성을 통해 제공하기 위해.

제안 방법

• 반환형 양식을 사용하여 아마존 메카니컬 터크(AMT) 작업자로부터 일상적인 활동 시나리오를 수집함으로써 일관성과 데이터 품질을 확보한다.
• 시나리오 내에서 교체 가능한 이벤트의 데이터베이스를 구축하며, 이를 위해 서사적 기술과 통계적 특성 모두를 캡처한다.
• k-최근접 이웃(k-NN) 알고리즘을 적용하여 맥락상 가장 적절한 교체 이벤트를 식별함으로써 시나리오의 통합성을 유지한다.
• 선택된 교체 이벤트와 사용자 프로필을 기반으로 개인화되고 유창한 서사적 기술을 생성하기 위해 '채우고 조정하기' 방식을 사용한다.
• 최종 생성된 시나리오의 논리적 일관성과 통합성을 보장하기 위해 MaxSat 논리 엔진을 활용한다.
• 추가적인 AMT 기반 사용자 연구를 통해 평가 및 검증을 수행하며, 작업자들이 6점 척도에서 진정성, 일관성, 유창성에 대해 평가한다.

실험 결과

연구 질문

• RQ1 커뮤니티 기반 데이터는 심각한 게임을 위한 다양하고 일관되며 신뢰할 수 있는 시나리오 콘텐츠 생성에 효과적으로 활용될 수 있는가?
• RQ2 믿음성과 일관성 측면에서 커뮤니티 기반으로 생성된 시나리오의 품질은 원본 또는 계획 기반 시나리오 생성 방식과 비교해 어떻게 되는가?
• RQ3 제안된 방법이 높은 다양성의 생성 콘텐츠를 제공하면서도 시나리오의 통합성을 어느 정도 유지하는가?
• RQ4 k-NN 기반 교체 선택 방식은 수정된 시나리오에서 일관성과 현실감을 유지하는 데 얼마나 효과적인가?
• RQ5 인간 평가자들이 커뮤니티 기반으로 생성된 콘텐츠를 원본 또는 계획 기반 콘텐츠와 동일하게 진정성 있고 일관성 있게 인식할 수 있는가?

주요 결과

• AMT 작업자들에 의해 커뮤니티 기반으로 생성된 시나리오는 원본 시나리오와 동일한 신뢰성과 일관성으로 평가되었으며, 진정성, 일관성, 유창성의 평균 점수에 유의미한 차이가 없었다.
• SNACS(SceNario-based Narrative Content Synthesis) 기반의 k-NN 방법은 무작위 교체보다 우수했으며, KAR K=11 및 KAR K=1 방법에서는 유저의 7%만이 생성된 활동을 식별했고, 무작위 선택 대비 61%의 유저가 식별한 것에 비해 유의미한 개선을 보였다.
• SNACS 기반 생성 방법은 원본 및 계획 기반 방법과 통계적으로 유사한 점수를 기록했으며, 특히 오락 및 일상적인 활동에 대해 뛰어난 성능을 보였다.
• SNACS-Best(SNACS-Bst) 및 SNACS-Tag 변형은 SNACS-Any보다 略적으로 더 좋은 결과를 보였으며, 무작위 매칭 대비 표적 선택의 이점이 있음을 시사한다.
• 계획 기반 방법은 효과적이었지만 상당히 비용이 많이 들고 시간 소모가 커, 커뮤니티 기반 접근의 확장성 우수성을 입증했다.
• 무작위 변형(Rnd-SNACS 및 Rnd-Planner)은 모든 다른 방법보다 유의미하게 낮은 점수를 받았으며, p-값이 0.05 이하였고, 무작위성 대비 체계적인 생성의 중요성을 확인했다.