[论文解读] Automatic Camera Trajectory Control with Enhanced Immersion for Virtual Cinematography

Xinyi Wu, Haohong Wang+1 more|arXiv (Cornell University)|Mar 29, 2023

Advanced Vision and Imaging被引用 5

一句话总结

本文提出了一种基于生成对抗网络（GAN）的相机控制框架，用于自动电影制作，通过同步空间运动、情感表达与美学构图，生成沉浸式、以演员为中心的相机运动。该方法采用编码器-解码器生成器，分离身体运动学与情感因素，并引入自监督调节器以实现三分法构图，从而在定量与定性层面均实现了高质量、沉浸式的电影输出。

ABSTRACT

User-generated cinematic creations are gaining popularity as our daily entertainment, yet it is a challenge to master cinematography for producing immersive contents. Many existing automatic methods focus on roughly controlling predefined shot types or movement patterns, which struggle to engage viewers with the circumstances of the actor. Real-world cinematographic rules show that directors can create immersion by comprehensively synchronizing the camera with the actor. Inspired by this strategy, we propose a deep camera control framework that enables actor-camera synchronization in three aspects, considering frame aesthetics, spatial action, and emotional status in the 3D virtual stage. Following rule-of-thirds, our framework first modifies the initial camera placement to position the actor aesthetically. This adjustment is facilitated by a self-supervised adjustor that analyzes frame composition via camera projection. We then design a GAN model that can adversarially synthesize fine-grained camera movement based on the physical action and psychological state of the actor, using an encoder-decoder generator to map kinematics and emotional variables into camera trajectories. Moreover, we incorporate a regularizer to align the generated stylistic variances with specific emotional categories and intensities. The experimental results show that our proposed method yields immersive cinematic videos of high quality, both quantitatively and qualitatively. Live examples can be found in the supplementary video.

研究动机与目标

• 通过自动化沉浸式相机运动生成，解决传统电影制作中人力成本高且缺乏细粒度控制的问题。
• 显式建模并整合三种沉浸感维度：对演员运动的空间跟踪、通过相机抖动表达情感，以及基于构图规则的美学构图。
• 开发一种基于学习的框架，从人类艺术家提供的基准数据中合成高质量相机轨迹，同时保持可控性与真实性。
• 通过相机抖动风格方差的正则化，增强情感状态在相机运动中的表达。
• 通过基于投影关节位置的自监督调节器，强制执行三分法原则，提升画面构图质量。

提出的方法

• 采用GAN框架，从人类艺术家提供的真实样本中，对抗性地学习三维虚拟舞台中的相机轨迹生成。
• 生成器采用编码器-解码器架构，处理分离的身体运动学（来自关节位置）与情感因素（类别与强度），以生成相机空间轨迹。
• 在解码过程中将情感因素作为先验，调节相机抖动的风格与方差，增强运动中的情感表达。
• 自监督调节器根据投影的二维关节位置调整相机位置，确保演员位置符合三分法美学构图。
• 系统使用决策树基于演员姿态（躺下 vs. 站立）与相对相机角度，推导出对齐线以实现构图。
• 损失组件包括基于投影的度量：二维关节投影 $M_{2d}$、加权躯干中心关节 $\overline{M}_{2d}$，以及二值化的在画面内指示符 $M_b$ 与 $M'_b$。

实验结果

研究问题

• RQ1 如何自动生成相机运动，以通过在三维虚拟环境中跟踪演员运动来增强空间沉浸感？
• RQ2 通过受控的相机抖动，情感表达在相机运动中能被多大程度地编码？其有效建模方法是什么？
• RQ3 能否通过基于投影与构图规则的自监督相机位置调节，改善画面构图？
• RQ4 空间、情感与美学因素的整合，相较于现有自动电影制作方法，如何带来更沉浸的电影体验？
• RQ5 在用户研究中，各沉浸感组件（空间、情感、美学）对感知电影质量的相对贡献如何？

主要发现

• 所提方法在定量与定性层面均生成了高质量的电影视频，其沉浸感质量超越基线模型。
• 用户研究表明，该方法生成的视频在五分制沉浸感评分中平均得分超过3分，显著优于基线模型（Yu et al., 2022a）。
• 自监督调节器通过投影度量验证，有效提升了画面构图质量，使演员位置更符合三分法指导原则。
• 身体运动学与情感因素的解耦编码，使相机运动生成更加细腻真实，优于仅使用姿态或光流特征的模型。
• 相机抖动方差的正则化实现了受控的情感特异性运动风格，增强了情感沉浸感，同时未损害轨迹平滑性。
• 系统在多种演员姿态与相机角度下表现出鲁棒性，基于决策树的对齐机制成功适应了站立、躺卧与侧向拍摄场景。