[论文解读] Computer-Assisted Interactive Documentary and Performance Arts in Illimitable Space

Miao Song|arXiv (Cornell University)|Dec 26, 2012

Human Motion and Animation被引用 14

一句话总结

本文提出了一种创新的计算机辅助互动纪录片与表演艺术的整合，采用实时物理驱动的软体模拟、触觉反馈和沉浸式投影环境。通过结合OpenGL、Kinect、Falcon触觉设备以及实时数据流工具（如Max/MSP/Jitter），实现了在《Tangible Memories》等装置艺术和戏剧表演中，以非线性方式展开的互动式叙事，推动了电影、戏剧与新媒体领域在实时交互方面的艺术与技术发展，具有持久的贡献。

ABSTRACT

This major component of the research described in this thesis is 3D computer graphics, specifically the realistic physics-based softbody simulation and haptic responsive environments. Minor components include advanced human-computer interaction environments, non-linear documentary storytelling, and theatre performance. The journey of this research has been unusual because it requires a researcher with solid knowledge and background in multiple disciplines; who also has to be creative and sensitive in order to combine the possible areas into a new research direction. [...] It focuses on the advanced computer graphics and emerges from experimental cinematic works and theatrical artistic practices. Some development content and installations are completed to prove and evaluate the described concepts and to be convincing. [...] To summarize, the resulting work involves not only artistic creativity, but solving or combining technological hurdles in motion tracking, pattern recognition, force feedback control, etc., with the available documentary footage on film, video, or images, and text via a variety of devices [....] and programming, and installing all the needed interfaces such that it all works in real-time. Thus, the contribution to the knowledge advancement is in solving these interfacing problems and the real-time aspects of the interaction that have uses in film industry, fashion industry, new age interactive theatre, computer games, and web-based technologies and services for entertainment and education. It also includes building up on this experience to integrate Kinect- and haptic-based interaction, artistic scenery rendering, and other forms of control. This research work connects all the research disciplines, seemingly disjoint fields of research, such as computer graphics, documentary film, interactive media, and theatre performance together.

研究动机与目标

• 开发一种实时、互动且沉浸式的纪录片体验，通过先进的计算机图形与人机交互技术，突破线性叙事的限制。
• 将基于物理的软体模拟与触觉反馈及立体视觉技术结合，以增强互动装置中真实感与用户参与度。
• 将个人纪录片影片转化为非线性、由观众控制的互动体验，同时将参与者互动作为持续演化的“记忆气泡”予以保存。
• 通过使实时数字特效能够响应表演者的动作、姿态与表情，将互动纪录片技术拓展至现场戏剧表演。
• 通过统一的技术与艺术框架，弥合计算机图形、纪录片电影、互动媒体与戏剧之间的鸿沟，实现实时、多感官丰富的叙事。

提出的方法

• 使用OpenGL与GLSL实现实时渲染基于物理的软体模拟，包括LOD与立体视觉效果，以提升视觉真实感与性能表现。
• 集成先进的交互设备，如Novint Falcon触觉控制器与Kinect动作追踪系统，实现对虚拟3D环境的触觉与手势控制。
• 利用Max/MSP与PureData（通过Jitter及外部插件）创建模块化、面向艺术家的数据流模块，实现实时音视频处理与系统调度。
• 开发基于C#的自定义系统，采用Mono与MonoXNA技术，支持跨平台部署与实时交互，提升艺术家与开发者的可及性。
• 设计并实现多投影仪、$360^{°}$沉浸式投影环境，包含天花板、地面与墙面投影，支持立体视觉渲染与基于雾面的投影表面。
• 使用Maya进行3D环境建模与动画制作，包括为增强虚拟空间深度感知而支持立体缓冲。

实验结果

研究问题

• RQ1 如何有效整合实时物理驱动的软体模拟、触觉反馈与立体视觉技术，以创造沉浸式互动体验？
• RQ2 非线性、由观众控制的互动纪录片在多大程度上能够保留并演化参与者互动内容？其技术实现路径为何？
• RQ3 如何利用实时动作追踪与手势识别技术，动态控制现场戏剧表演中的音视频效果？
• RQ4 哪些技术与艺术框架能够实现纪录片影像、3D模拟与互动媒体在统一实时系统中的无缝整合？
• RQ5 全息显示与先进投影系统等新兴技术如何增强互动纪录片与表演装置的感知体验与情感冲击力？

主要发现

• Tangible Memories装置成功将纪录片《I Still Remember》转化为非线性、由观众控制的互动体验，参与者互动被保存为持续演化的‘记忆气泡’，推动作品的持续发展。
• 通过OpenGL与先进渲染技术（包括LOD与立体视觉渲染），实现了基于物理的水母软体实时模拟，显著提升了视觉真实感与性能效率。
• 通过将Novint Falcon触觉设备与PureData及OpenGL集成，实现了对虚拟软体对象的响应式触觉交互，验证了触觉增强叙事的可行性。
• 利用Max/MSP/Jitter与自定义数据流模块，成功实现了基于Kinect的动作追踪与实时音视频响应系统，使戏剧环境中可动态响应表演者的动作。
• 使用Maya并配合立体缓冲支持，成功创建了具备深度感知的沉浸式3D环境，适用于戏剧投影，显著增强了观众对虚拟空间的感知。
• 本研究证明，结合实时渲染、触觉反馈、动作追踪与多投影沉浸式投影，可开创一种兼具艺术表现力与技术稳健性的互动纪录片与表演艺术新范式。