[논문 리뷰] Automated Cinematography with Unmanned Aerial Vehicles

Quentin Galvane, Julien Fleureau외 2명|arXiv (Cornell University)|2016. 01. 01.

Advanced Vision and Imaging참고 문헌 23인용 수 12

한 줄 요약

이 논문은 자연어로 된 촬영 명령어를 해석함으로써 실시간으로 영화적인 카메라 움직임을 생성할 수 있도록 돕는 드론 독립형 고수준 영화 촬영 제어 시스템을 제안한다. 가상 카메라 제어 프레임워크를 드론에 적응시킨 바탕으로, PSL 기반의 명령어 해석기와 함께 사용함으로써, 한 명 또는 두 명의 움직이는 주인공을 정밀하게 프레임에 담는 부드럽고 안정적인 추적을 실현하였다. 실내 실험을 통해 실제 드론과 시뮬레이션 환경에서 검증되었다.

ABSTRACT

The rise of Unmanned Aerial Vehicles and their increasing use in the cinema industry calls for the creation of dedicated tools. Though there is a range of techniques to automatically control drones for a variety of applications, none have considered the problem of producing cinematographic camera motion in real-time for shooting purposes. In this paper we present our approach to UAV navigation for autonomous cinematography. The contributions of this research are twofold: (i) we adapt virtual camera control techniques to UAV navigation; (ii) we introduce a drone-independent platform for high-level user interactions that integrates cinematographic knowledge. The results presented in this paper demonstrate the capacities of our tool to capture live movie scenes involving one or two moving actors.

연구 동기 및 목표

• 자율 드론 영화 촬영 분야에서 실시간으로 영화 촬영을 고려한 드론 제어 시스템의 부족을 해결한다.
• 전문가가 아닌 사용자가 수동 조종이 아닌 직관적인 고수준 명령어를 통해 영화 촬영을 생성할 수 있도록 한다.
• 드론 전용 제어와 분리된 영화 촬영 의도를 구현하기 위해 드론 독립 플랫폼을 설계한다.
• 움직이는 대상에 대한 동적 추적 중에도 부드럽고 안정적인 카메라 전환과 일관된 프레임 설정을 보장한다.
• 실물 배포 이전에 시스템을 검증하고 개선하기 위해 훈련 및 시뮬레이션 프레임워크를 제공한다.

제안 방법

• 일반적으로 CGI에서 사용되는 가상 카메라 제어 기법을 물리적 환경에서 실시간 UAV 항법에 적응시킨다.
• 자연어 영화 촬영 명령어(예: 'MS on A 3/4 back-right')를 실행 가능한 카메라 경로로 변환하기 위해 프로세스 스토리보드 언어(PSL) 해석기를 구현한다.
• 운동 추적 시스템을 통한 실시간 상태 추정을 통해 드론과 주인공의 위치를 추적함으로써 정밀한 피드백 제어를 가능하게 한다.
• 영화 촬영 제약 조건을 고려하면서도 충돌이 없고 부드러운 촬영 구성 간 전환을 생성하기 위한 경로 계획 모듈을 설계한다.
• 운동 중에도 목표 프레임을 유지하기 위해 드론의 위치와 방향을 동적으로 조정하는 서보 제어 시스템을 통합한다.
• 실제 드론 행동을 정확히 반영하는 시뮬레이션 플랫폼을 개발하여 물리적 하드웨어 없이도 훈련과 테스트를 수행할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 고수준 영화 촬영 명령어가 실시간으로 안정적인 UAV 비행 경로로 효과적으로 변환될 수 있는가?
• RQ2 가상 카메라 제어 원칙은 회전축 드론의 물리적 제약 조건에 어떻게 적응시킬 수 있는가?
• RQ3 복잡한 전환 상황에서 움직이는 대상에 대해 드론 독립 시스템이 얼마나 일관된 프레임 설정을 유지할 수 있는가?
• RQ4 다양한 운동 패턴을 보이는 다수의 주인공을 안정적으로 추적하면서도 촬영 구성의 일관성을 유지할 수 있는가?
• RQ5 영화 촬영 지식의 통합은 비전문가 사용자에게 사용성 향상에 얼마나 기여하는가?

주요 결과

• 시스템은 단일 움직이는 주인공에 대해 앞면 중거리 촬영에서 3/4 뒷편 측면 촬영으로의 다양한 촬영 유형 간 부드러운 전환을 성공적으로 수행하였으며, 일관된 프레임 설정을 유지하였다.
• 드론은 동적 이동 중에도 단일 주인공을 정밀하게 프레임에 유지하면서 뛰어난 실시간 추적 성능을 입증하였다.
• 다중 주인공 시나리오에서는 주인공들이 서로 다른 속도와 방향으로 움직여도 의도된 구성(예: 어깨 너머 촬영)을 유지하였다.
• 시뮬레이션 플랫폼은 실제 드론 행동을 정확히 재현하여 실물 배포 이전에 제어 시스템의 훈련과 검증을 효과적으로 수행할 수 있었다.
• 사용자 연구를 통해 영화 촬영가, 조종사, 비전문가를 대상으로 시스템의 사용성과 효과성을 추가로 검증할 계획이다.
• 실시간 상태 피드백을 제공하는 완전 촬영된 실내 환경에서 프레임워크가 실현 가능했으며, 정확하고 반응성이 뛰어난 제어를 가능하게 하였다.