[논문 리뷰] Computer-Assisted Interactive Documentary and Performance Arts in Illimitable Space

Miao Song|arXiv (Cornell University)|2012. 12. 26.

Human Motion and Animation인용 수 14

한 줄 요약

이 논문은 실시간 물리 기반 소프트바디 시뮬레이션, 햅틱 피드백, 몰입형 프로젝션 환경을 활용하여 컴퓨터 지원 상호작용 다큐멘터리와 연극 예술을 새로운 방식으로 융합한다. OpenGL, Kinect, Falcon 햅틱 장치, 그리고 실시간 데이터플로우 도구인 Max/MSP/Jitter를 결합하여 'Tangible Memories'와 같은 설치 미술 작품과 연극 공연에서 비선형적이고 상호작용 가능한 서사 방식을 가능하게 하며, 영화, 연극, 신미디어 분야에서 실시간 상호작용의 가능성을 넓히고 예술적·기술적 기여를 지속적으로 이어간다.

ABSTRACT

This major component of the research described in this thesis is 3D computer graphics, specifically the realistic physics-based softbody simulation and haptic responsive environments. Minor components include advanced human-computer interaction environments, non-linear documentary storytelling, and theatre performance. The journey of this research has been unusual because it requires a researcher with solid knowledge and background in multiple disciplines; who also has to be creative and sensitive in order to combine the possible areas into a new research direction. [...] It focuses on the advanced computer graphics and emerges from experimental cinematic works and theatrical artistic practices. Some development content and installations are completed to prove and evaluate the described concepts and to be convincing. [...] To summarize, the resulting work involves not only artistic creativity, but solving or combining technological hurdles in motion tracking, pattern recognition, force feedback control, etc., with the available documentary footage on film, video, or images, and text via a variety of devices [....] and programming, and installing all the needed interfaces such that it all works in real-time. Thus, the contribution to the knowledge advancement is in solving these interfacing problems and the real-time aspects of the interaction that have uses in film industry, fashion industry, new age interactive theatre, computer games, and web-based technologies and services for entertainment and education. It also includes building up on this experience to integrate Kinect- and haptic-based interaction, artistic scenery rendering, and other forms of control. This research work connects all the research disciplines, seemingly disjoint fields of research, such as computer graphics, documentary film, interactive media, and theatre performance together.

연구 동기 및 목표

• 고도화된 컴퓨터 그래픽스와 인간-컴퓨터 상호작용을 통해 선형적 서사 방식을 초월한 실시간, 상호작용적, 몰입형 다큐멘터리 경험을 개발하는 것.
• 물리 기반 소프트바디 시뮬레이션을 햅틱 피드백 및 스테레오 시각화와 융합하여 상호작용 설치물에서 현실감과 사용자 참여도를 향상시키는 것.
• 개인적 다큐멘터리 영상을 비선형적이고 관객이 제어할 수 있는 상호작용 가능한 경험으로 전환하여 참가자 상호작용을 지속적으로 진화하는 '기억 방울'로 보존하는 것.
• 연기자의 제스처, 움직임, 표정에 반응하는 실시간 디지털 효과를 가능하게 하여 상호작용 다큐멘터리 기술을 라이브 연극 공연으로 확장하는 것.
• 컴퓨터 그래픽스, 다큐멘터리 영화, 상호작용 미디어, 연극 예술 등 서로 다른 분야를 통합된 기술적·예술적 프레임워크를 통해 실시간으로 감각적인 풍부함을 지닌 서사 방식으로 융합하는 것.

제안 방법

• 실시간 물리 기반 소프트바디 시뮬레이션의 렌더링을 위해 OpenGL과 GLSL를 활용하였으며, 레벨오브디테일(Low-Resolution, LOD) 및 스테레오 효과를 적용하여 시각적 현실감과 성능을 향상시켰다.
• Novint Falcon 햅틱 컨트롤러와 Kinect을 활용한 고급 상호작용 장치를 통합하여 가상 3차원 환경에 대한 촉각적 제어와 제스처 기반 제어를 가능하게 하였다.
• Max/MSP와 PureData(Jitter 및 외부 플러그인을 통한)를 사용하여 실시간 오디오비주얼 처리 및 시스템 조율를 위한 모듈식이고 예술가에게 친화적인 데이터플로우 패치를 구축하였다.
• Mono와 MonoXNA를 기반으로 한 커스터마이징된 C# 기반 시스템을 개발하여 크로스플랫폼 배포와 실시간 상호작용을 지원함으로써 예술가 및 개발자들에게 보다 넓은 접근성을 제공하였다.
• 천장, 바닥, 벽에 프로젝션하는 다중 프로젝터 기반의 $360^{°}$ 몰입형 프로젝션 환경을 설계 및 구현하였으며, 스테레오 렌더링 및 안개 기반 프로젝션 표면 지원을 포함하였다.
• 3차원 환경 모델링 및 애니메이션을 위해 Maya를 활용하였으며, 스테레오 버퍼 지원을 통해 공연 설치물에서의 깊이 인식 능력을 향상시켰다.

실험 결과

연구 질문

• RQ1 실시간 물리 기반 소프트바디 시뮬레이션을 햅틱 피드백 및 스테레오 시각화와 효과적으로 융합하여 몰입형 상호작용 경험을 창출할 수 있는가?
• RQ2 비선형적이고 관객이 제어하는 상호작용 다큐멘터리는 참가자 상호작용으로부터 얼마나 잘 유지되고 진화할 수 있으며, 이를 기술적으로 어떻게 구현할 수 있는가?
• RQ3 실시간 운동 추적 및 제스처 인식 기술을 활용하여 라이브 연극 공연에서 오디오비주얼 효과를 동적으로 제어할 수 있는가?
• RQ4 다큐멘터리 영상, 3차원 시뮬레이션, 상호작용 미디어를 통합한 실시간 시스템에서 작동하는 기술적·예술적 프레임워크는 무엇인가?
• RQ5 헤일로그래픽 디스플레이 및 고급 프로젝션 시스템과 같은 신기술이 상호작용 다큐멘터리 및 공연 설치물의 인지 및 감정적 영향을 어떻게 향상시킬 수 있는가?

주요 결과

• Tangible Memories 설치 작품은 다큐멘터리 I Still Remember를 비선형적이고 관객이 제어할 수 있는 상호작용 경험으로 성공적으로 전환하였으며, 참가자 상호작용은 지속적으로 진화하는 '기억 방울'로 보존되어 작품의 지속적 진화에 기여하였다.
• OpenGL 및 고급 렌더링 기법(LOD, 스테레오 렌더링 포함)을 활용하여 물고기 형태의 소프트바디 시뮬레이션을 실시간으로 구현하여 시각적 현실감과 성능 효율성을 크게 향상시켰다.
• PureData와 OpenGL을 활용한 Novint Falcon 햅틱 장치 통합은 가상 소프트바디 객체에 대한 반응성 있는 촉각 상호작용을 가능하게 하여 햅틱 기반 서사의 실현 가능성을 입증하였다.
• Max/MSP/Jitter 및 커스터마이징된 데이터플로우 패치를 활용한 Kinect 기반 운동 추적 및 실시간 오디오비주얼 반응 시스템은 연극 장면에서 연기자에 대한 반응형 효과를 동적으로 제공하는 데 성공적으로 적용되었다.
• 스테레오 버퍼 지원 기능을 활용한 Maya의 사용은 연극 프로젝션에 적합한 몰입감 있고 깊이 인식이 가능한 3차원 환경을 구축할 수 있게 하여 관객의 가상 공간 인식 능력을 향상시켰다.
• 본 연구는 실시간 렌더링, 햅틱 기술, 운동 추적, 다중 프로젝터 몰입형 프로젝션을 융합함으로써, 예술적으로 표현력이 풍부하고 기술적으로 견고한 상호작용 다큐멘터리 및 연극 예술의 새로운 패러다임을 제시하였다.