[논문 리뷰] Automatic Camera Trajectory Control with Enhanced Immersion for Virtual Cinematography

Xinyi Wu, Haohong Wang외 1명|arXiv (Cornell University)|2023. 03. 29.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 3차원 가상 무대에서 공간적 움직임, 감정 표현, 미적 구성 요소를 동기화함으로써 몰입감 있고 배우 중심적인 카메라 움직임을 생성하는 GAN 기반 카메라 제어 프레임워크를 제안한다. 인코더-디코더 생성기 구조를 사용하며 신체 운동학적 요소와 감정 요소를 분리하여 처리하고, 투영된 관절 위치 기반 자기지도 학습 조정기를 통해 제3의 법칙 프레임워크를 적용함으로써 정량적·정성적으로 높은 품질의 몰입감 있는 영화적 출력을 달성한다.

ABSTRACT

User-generated cinematic creations are gaining popularity as our daily entertainment, yet it is a challenge to master cinematography for producing immersive contents. Many existing automatic methods focus on roughly controlling predefined shot types or movement patterns, which struggle to engage viewers with the circumstances of the actor. Real-world cinematographic rules show that directors can create immersion by comprehensively synchronizing the camera with the actor. Inspired by this strategy, we propose a deep camera control framework that enables actor-camera synchronization in three aspects, considering frame aesthetics, spatial action, and emotional status in the 3D virtual stage. Following rule-of-thirds, our framework first modifies the initial camera placement to position the actor aesthetically. This adjustment is facilitated by a self-supervised adjustor that analyzes frame composition via camera projection. We then design a GAN model that can adversarially synthesize fine-grained camera movement based on the physical action and psychological state of the actor, using an encoder-decoder generator to map kinematics and emotional variables into camera trajectories. Moreover, we incorporate a regularizer to align the generated stylistic variances with specific emotional categories and intensities. The experimental results show that our proposed method yields immersive cinematic videos of high quality, both quantitatively and qualitatively. Live examples can be found in the supplementary video.

연구 동기 및 목표

• 기존 영화 촬영 방식의 높은 노동 비용과 세밀한 제어의 부재 문제를 해결하기 위해 몰입감 있는 카메라 움직임 생성을 자동화한다.
• 공간적 움직임 추적, 감정 표현을 위한 카메라 흔들림, 프레임워크 규칙을 통한 미적 구성이라는 세 가지 몰입 요소를 명시적으로 모델링하고 통합한다.
• 인간 예술가의 기준 샘플을 기반으로 학습 기반 프레임워크를 개발하여 고품질의 카메라 경로를 합성하면서도 제어 가능성과 현실성 유지한다.
• 카메라 흔들림의 스타일 변동성에 대한 정규화를 통해 감정 상태를 카메라 움직임에 효과적으로 표현한다.
• 투영된 관절 위치 기반 자기지도 학습 조정기를 사용하여 제3의 법칙 원칙을 강제 적용함으로써 프레임 구성 품질을 향상시킨다.

제안 방법

• 3차원 가상 무대에서 인간 예술가가 제공한 기준 샘플을 기반으로, GAN 프레임워크를 사용해 카메라 경로 생성을 적대적으로 학습한다.
• 생성기는 인코더-디코더 아키텍처를 사용하며, 관절 위치에서 유도된 분리된 신체 운동학적 요소와 감정 요소(카테고리 및 강도)를 처리하여 카메라 공간 경로를 생성한다.
• 감정 요소는 복원 단계에서 사전 지식으로 통합되어 카메라 흔들림의 스타일과 변동성을 조절함으로써 움직임 내 감정 표현을 향상시킨다.
• 자기지도 학습 조정기는 투영된 2차원 관절 위치를 기반으로 카메라 위치를 수정하여, 주로 인물의 위치가 제3의 법칙 미적 구성 원칙을 따르도록 보장한다.
• 결정 트리는 배우 자세(누운 자세 대비 서 있는 자세)와 상대적인 카메라 각도를 기반으로 프레임링을 위한 정렬선을 유도한다.
• 손실 구성 요소로는 투영 기반 메트릭이 포함되며, 2차원 관절 투영 $M_{2d}$, 가중치가 부여된 허리 중심 관절 $\overline{M}_{2d}$, 이진화된 프레임 내 지표 $M_b$ 및 $M'_b$가 포함된다.

실험 결과

연구 질문

• RQ1 3차원 가상 환경에서 액터의 움직임을 추적함으로써 공간적 몰입감을 향상시키기 위해 카메라 움직임을 어떻게 자동으로 생성할 수 있는가?
• RQ2 제어된 카메라 흔들림을 통해 감정 표현을 얼마나 효과적으로 카메라 움직임에 통합할 수 있으며, 이를 효과적으로 모델링할 수 있는가?
• RQ3 투영 및 프레임워크 규칙 기반 자기지도 학습 조정기를 통해 카메라 위치를 조정함으로써 프레임 구성 품질을 향상시킬 수 있는가?
• RQ4 공간적, 감정적, 미적 요소의 통합이 기존 자동 영화 촬영 방법에 비해 더 몰입감 있는 시네마틱 경험을 어떻게 이끌어내는가?
• RQ5 사용자 연구에서 각 몰입 요소(공간적, 감정적, 미적)가 인지된 시네마틱 품질에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• 제안된 방법은 정량적·정성적으로 고품질의 영화 영상을 생성하여 기준 모델을 초월하는 몰입감 향상을 달성한다.
• 사용자 연구 결과, 제안된 방법으로 생성된 영상의 평균 몰입도 평가는 5점 척도에서 3점 이상을 기록하여 Yu 등(2022a)의 기준 모델 대비 유의미한 향상을 보였다.
• 자기지도 학습 조정기가 제3의 법칙 지침에 따라 액터 위치를 정렬함으로써 프레임 구성 품질을 효과적으로 향상시켰으며, 이는 투영 기반 메트릭을 통해 검증되었다.
• 신체 운동학적 요소와 감정 요소를 분리하여 인코딩함으로써, 단순히 자세나 유동 특징만을 사용하는 모델 대비 더 세밀하고 현실적인 카메라 움직임 생성이 가능했다.
• 카메라 흔들림의 변동성에 대한 정규화를 통해 제어 가능하고 감정에 특화된 움직임 스타일을 구현함으로써, 궤도의 매끄러움을 해치지 않은 채 감정 몰입도를 향상시켰다.
• 다양한 액터 자세와 카메라 각도에 대해 높은 강건성을 보였으며, 결정 트리 기반 정렬 메커니즘이 서 있는 자세, 누운 자세, 측면 촬영 촬영에 효과적으로 대응했다.