[論文レビュー] Computer-Assisted Interactive Documentary and Performance Arts in Illimitable Space

Miao Song|arXiv (Cornell University)|Dec 26, 2012

Human Motion and Animation被引用数 14

ひとこと要約

本論文は、リアルタイム物理ベースのソフトボディシミュレーション、ハプティクスフィードバック、没入型プロジェクション環境を用いて、コンピュータ支援インタラクティブ・ドキュメンタリーとパフォーマンスアートの新規統合を提案する。OpenGL、Kinect、Falconハプティクス、リアルタイムデータフロー・ツール（Max/MSP/Jitter）を統合することで、『Tangible Memories』のようなインスタレーションや劇場パフォーマンスにおいて、インタラクティブで非線形な物語の展開を可能にし、映画、演劇、ニュー・メディアの分野においてリアルタイムインタラクティビティを飛躍的に発展させ、芸術的・技術的貢献を長期間にわたり持続する。

ABSTRACT

This major component of the research described in this thesis is 3D computer graphics, specifically the realistic physics-based softbody simulation and haptic responsive environments. Minor components include advanced human-computer interaction environments, non-linear documentary storytelling, and theatre performance. The journey of this research has been unusual because it requires a researcher with solid knowledge and background in multiple disciplines; who also has to be creative and sensitive in order to combine the possible areas into a new research direction. [...] It focuses on the advanced computer graphics and emerges from experimental cinematic works and theatrical artistic practices. Some development content and installations are completed to prove and evaluate the described concepts and to be convincing. [...] To summarize, the resulting work involves not only artistic creativity, but solving or combining technological hurdles in motion tracking, pattern recognition, force feedback control, etc., with the available documentary footage on film, video, or images, and text via a variety of devices [....] and programming, and installing all the needed interfaces such that it all works in real-time. Thus, the contribution to the knowledge advancement is in solving these interfacing problems and the real-time aspects of the interaction that have uses in film industry, fashion industry, new age interactive theatre, computer games, and web-based technologies and services for entertainment and education. It also includes building up on this experience to integrate Kinect- and haptic-based interaction, artistic scenery rendering, and other forms of control. This research work connects all the research disciplines, seemingly disjoint fields of research, such as computer graphics, documentary film, interactive media, and theatre performance together.

研究の動機と目的

• 先進的なコンピュータグラフィックスとヒューマンコンピュータインタラクションを活用して、線形的物語を超えたリアルタイムでインタラクティブで没入型のドキュメンタリー体験を構築すること。
• 物理ベースのソフトボディシミュレーションをハプティクスフィードバックおよびステレオスコピック可視化と統合し、インタラクティブ・インスタレーションにおけるリアリズムとユーザー参加意識を高めること。
• 個人のドキュメンタリー映像を非線形的で観客主導のインタラクティブ体験に変換し、参加者との相互作用を「記憶のバブル」として進化し続ける形で保存すること。
• パフォーマンスアーティストのジェスチャー、動き、表情に応じてリアルタイムでデジタルエフェクトが反応する仕組みを実装することで、インタラクティブ・ドキュメンタリー技術をライブ・シアター・パフォーマンスに応用すること。
• コンピュータグラフィックス、ドキュメンタリー映像、インタラクティブ・メディア、演劇の分野を統合する、リアルタイムで感覚に富んだ物語展開を可能にする統一的技術的・芸術的フレームワークを構築すること。

提案手法

• LODおよびステレオスコピック効果を含む、物理ベースのソフトボディシミュレーションのリアルタイムレンダリングにOpenGLおよびGLSLを活用し、視覚的リアリズムとパフォーマンスを向上させた。
• Novint FalconハプティクスコントローラーやKinectによる動き追跡といった高度なインタラクションデバイスを統合し、仮想3D環境に対するタクトイルおよびジェスチャー制御を可能にした。
• Max/MSPおよびPureData（Jitterおよび外部プラグインを介して）を用いて、リアルタイム音声映像処理およびシステムオーケストレーションに適したモジュラーでアーティストフレンドリーなデータフローパッチを構築した。
• MonoおよびMonoXNAを用いたカスタムC#ベースのシステムを開発し、クロスプラットフォームでのデプロイとリアルタイムインタラクションを可能にすることで、アーティストおよび開発者による広範なアクセス性を実現した。
• 天井、床、壁へのプロジェクションを含む、$360^{°}$のマルチプロジェクタ型没立体プロジェクション環境を設計・実装し、ステレオスコピックレンダリングおよびミストベースのプロジェクション表面に対応した。
• 3D環境モデリングおよびアニメーションにMayaを活用し、パフォーマンスインスタレーションにおける深さの認識を強化するためのステレオバッファサポートを実装した。

実験結果

リサーチクエスチョン

• RQ1 リアルタイム物理ベースのソフトボディシミュレーションを、ハプティクスフィードバックおよびステレオスコピック可視化と効果的に統合することで、没入型インタラクティブ体験を実現する方法は何か？
• RQ2 非線形的で観客主導のインタラクティブ・ドキュメンタリーは、参加者との相互作用からどれほど保存され、進化することができ、その実装にはどのような技術的アプローチが必要か？
• RQ3 リアルタイムの動き追跡およびジェスチャー認識を活用して、ライブ・シアター・パフォーマンスにおける音声映像エフェクトを動的に制御する方法は何か？
• RQ4 ドキュメンタリー映像、3Dシミュレーション、インタラクティブ・メディアを統合するための、技術的および芸術的フレームワークは、どのようにしてリアルタイムシステム内でシームレスに実現できるか？
• RQ5 ヘリカルディスプレイや高度なプロジェクションシステムといった新技術は、インタラクティブ・ドキュメンタリーおよびパフォーマンスインスタレーションの認識および感情的インパクトをどのように強化できるか？

主な発見

• 『Tangible Memories』インスタレーションは、ドキュメンタリー映像『I Still Remember』を非線形的で観客主導のインタラクティブ体験に成功して変換し、参加者との相互作用が進化を続ける「記憶のバブル」として保存され、作品の継続的進化に寄与した。
• OpenGLおよび高度なレンダリング技術（LODおよびステレオスコピックレンダリングを含む）を用いて、クラゲのリアルタイム物理ベースのソフトボディシミュレーションを実現し、視覚的リアリズムとパフォーマンス効率の両面で顕著な向上を達成した。
• PureDataおよびOpenGLと統合されたNovint Falconハプティクスデバイスにより、仮想ソフトボディオブジェクトに対する応答性の高いタクトイルインタラクションが可能となり、ハプティクス強化型物語展開の実現可能性が実証された。
• Max/MSP/Jitterおよびカスタムデータフローパッチを用いたKinectベースの動き追跡およびリアルタイム音声映像応答システムが、劇場環境における動的かつパフォーマーに応じたエフェクトを実現する形で成功裏に実装された。
• ステレオバッファサポートを備えたMayaの活用により、劇場向けプロジェクションに適した、深さを意識した没入型3D環境の構築が可能になり、観客の仮想空間への認識が強化された。
• 本研究では、リアルタイムレンダリング、ハプティクス、動き追跡、マルチプロジェクタ型没立体プロジェクションを統合することで、芸術的に表現力に富み、技術的にも堅牢な、インタラクティブ・ドキュメンタリーおよびパフォーマンスアートの新しいパラダイムが実現可能であることが示された。