[论文解读] DrawTalking: Building Interactive Worlds by Sketching and Speaking

Karl Rosenberg, Rubaiat Habib Kazi+3 more|arXiv (Cornell University)|Jan 11, 2024

Art, Technology, and Culture被引用 5

一句话总结

DrawTalking 提供一个多模态原型，让用户通过素描和讲话来构建并控制交互式世界，而无需编写代码。

ABSTRACT

We introduce DrawTalking, an approach to building and controlling interactive worlds by sketching and speaking while telling stories. It emphasizes user control and flexibility, and gives programming-like capability without requiring code. An early open-ended study with our prototype shows that the mechanics resonate and are applicable to many creative-exploratory use cases, with the potential to inspire and inform research in future natural interfaces for creative exploration and authoring.

研究动机与目标

• 通过让用户绘制素描和说话来定义内容与行为，从而实现开放式的创造性探索。
• 通过语音对素描进行语义标签，以控制对象及其属性。
• 在用户自主性与系统自动化辅助之间取得平衡，以支持快速原型开发与迭代。
• 提供一个透明的界面，直观显示语音输入与系统理解，支持错误纠正。
• 展示其在教育、快速原型制作和创意产出流程中的适用性。

提出的方法

• 开发一个多点触控 iPad 应用，通过语音和触控对自由手绘的素描进行名词、形容词和副词的标注。
• 使用指示性指称和文本标注将素描与用于控制与行为的语义角色连接起来。
• 实现一个语言命令系统，使用原语（动词、连词、介词）来驱动动画和事件。
• 提供语义图和转录视图以可视化并编辑系统对命令的理解。
• 通过直接操作和脚本规则，启用运行时编辑和即时的玩法测试。
• 实现设备端语音识别，并结合本地 NLP 处理流水线将语言映射到动作。

实验结果

研究问题

• RQ1 用于构建交互式场景的草图+语音界面有多么易于理解和可用？
• RQ2 参与者在开放式创意探索中识别出哪些类型的用例和工作流？
• RQ3 用户如何对素描进行标注和发出命令，语义图在错误恢复方面有多有效？
• RQ4 用户是否能在不编写代码的情况下执行类似编程的任务（循环、规则、生成）？
• RQ5 参与者对 DrawTalking 在教育、快速原型制作和创意流程中的潜力有何看法？

主要发现

• 参与者理解并掌握了机制，并进入了深思熟虑的创意构想。
• 通过指示性指称进行标注（以语音驱动的标注）在直觉性方面优于将素描链接到单词。
• 语义图帮助用户检查并纠正系统对命令的解读。
• 用户感到具有实体感，并将 DrawTalking 描述为易于接近，类似“语言与乐高”的结合。
• 参与者看到了与其他工具集成的潜力，以及在游戏和教育中的快速原型制作潜力。
• 一些用户将 DrawTalking 视为通向编程环境的一个相对踏板，同时保持对非程序员的可访问性。