[論文レビュー] Automatic Camera Trajectory Control with Enhanced Immersion for Virtual Cinematography

Xinyi Wu, Haohong Wang+1 more|arXiv (Cornell University)|Mar 29, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

本論文は、空間的動き、感情表現、美的構図を同期させることで、没入的で俳優中心のカメラ移動を生成するGANベースのカメラ制御フレームワークを提案する。エンコーダデコーダ型ジェネレータを用い、ボディの運動学的要因と感情要因を分離して処理し、三等分法則に基づく自己教師付き調整器を導入することで、定量的・定性的に高品質で没入感のある映像出力を達成した。

ABSTRACT

User-generated cinematic creations are gaining popularity as our daily entertainment, yet it is a challenge to master cinematography for producing immersive contents. Many existing automatic methods focus on roughly controlling predefined shot types or movement patterns, which struggle to engage viewers with the circumstances of the actor. Real-world cinematographic rules show that directors can create immersion by comprehensively synchronizing the camera with the actor. Inspired by this strategy, we propose a deep camera control framework that enables actor-camera synchronization in three aspects, considering frame aesthetics, spatial action, and emotional status in the 3D virtual stage. Following rule-of-thirds, our framework first modifies the initial camera placement to position the actor aesthetically. This adjustment is facilitated by a self-supervised adjustor that analyzes frame composition via camera projection. We then design a GAN model that can adversarially synthesize fine-grained camera movement based on the physical action and psychological state of the actor, using an encoder-decoder generator to map kinematics and emotional variables into camera trajectories. Moreover, we incorporate a regularizer to align the generated stylistic variances with specific emotional categories and intensities. The experimental results show that our proposed method yields immersive cinematic videos of high quality, both quantitatively and qualitatively. Live examples can be found in the supplementary video.

研究の動機と目的

• 伝統的な撮影における高い作業コストと細かい制御の欠如を解消するため、没入的カメラ移動の自動生成を実現すること。
• 空間的俳優の動き追跡、カメラジッタによる感情表現、フレーミングルールに基づく美的構図という、没入感の3次元的側面を明示的にモデル化・統合すること。
• 人間アーティストのベンチマークから高品質なカメラ軌道を合成する学習ベースのフレームワークを構築し、制御可能性と現実性を維持すること。
• カメラジッタのスタイルばらつきを正則化することで、感情状態のカメラ運動への表現を強化すること。
• 投影された関節位置に基づく自己教師付き調整器を用いて、三等分法則の原則を強制することで、フレーム構図を改善すること。

提案手法

• 3Dバーチャルステージにおける人間アーティストが提供した真値サンプルから、敵対的学習によりカメラ軌道生成をGANフレームワークで行う。
• ジェネレータはエンコーダデコーダアーキテクチャを採用し、関節位置から得られる分離されたボディ運動学的要因と、感情要因（分類と強度）を処理してカメラ座標空間の軌道を生成する。
• 感情要因はデコーディング段階で事前知識として組み込まれ、カメラジッタのスタイルとばらつきを調整することで、動きにおける感情表現を強化する。
• 自己教師付き調整器は、投影された2次元関節位置に基づいてカメラ配置を修正し、俳優の位置が三等分法則の美的構図に適合するように保証する。
• 意思決定木を用いて、俳優のポーズ（横たわっているか立っているか）と相対的なカメラ角度に基づき、フレーミング用の整合ラインを導出する。
• 損失関数には投影に基づく指標を用いる：2次元関節投影 $M_{2d}$、重み付きトルソ中心関節 $\overline{M}_{2d}$、バイナリ化されたフレーム内インジケータ $M_b$ および $M'_b$。

実験結果

リサーチクエスチョン

• RQ1 3Dバーチャル環境における俳優の動きを追跡することで、どのようにカメラ移動を自動生成し、空間的没入感を高めることができるか？
• RQ2 制御されたカメラジッタを通じて、感情表現をカメラ運動にどのように組み込み、効果的にモデル化できるか？
• RQ3 投影とフレーミングルールに基づく自己教師付きのカメラ配置調整によって、フレーム構図をどのように改善できるか？
• RQ4 空間的・感情的・美的要因の統合が、従来の自動撮影手法と比較して、より没入感のある映像体験を生み出すメカニズムは何か？
• RQ5 ユーザースタディにおいて、各没入要因（空間的・感情的・美的）が映像品質の認識に果たす相対的寄与度は何か？

主な発見

• 提案手法は、定量的・定性的に高品質な映像を生成し、ベースラインモデルを上回る没入感を実現した。
• ユーザースタディの結果、提案手法で生成された映像は5段階スケールで平均3以上の没入度スコアを記録し、ベースライン（Yu et al., 2022a）と比較して顕著な向上が確認された。
• 自己教師付き調整器は、投影に基づく指標を用いて、三等分法則のガイドラインに沿って俳優の位置を整えることで、フレーム構図の改善が有効に実現されたことを裏付けた。
• ボディ運動学的要因と感情要因の分離符号化により、ポーズやフロー特徴のみを用いるモデルと比較して、より洗練され、現実的なカメラ移動の生成が可能になった。
• カメラジッタのばらつきに対する正則化により、感情に特化した動きのスタイルを制御可能にし、軌道の滑らかさを損なわせることなく感情的没入感を強化できた。
• 本システムは、多様な俳優のポーズとカメラ角度に対しても頑健であり、意思決定木に基づく整合ライン機構が、立位・横臥位・側面ショットに対しても効果的に適応した。