[논문 리뷰] Towards a Drone Cinematographer: Guiding Quadrotor Cameras using Visual Composition Principles

N. Joubert, Jane L. E외 5명|arXiv (Cornell University)|2016. 10. 05.

Robotic Path Planning Algorithms참고 문헌 27인용 수 51

한 줄 요약

이 논문은 영상 촬영 원칙을 기반으로 하여 실외 환경에서 두 사람의 잘 구성된 영상을 자동으로 촬영할 수 있도록 4축 항공기 드론 카메라를 자율적으로 안내하는 종단간 시스템을 제시한다. RTK GPS를 활용해 센티미터 수준의 정확도로 위치 추적을 수행하고, 안전성과 시각적 매력을 보장하는 새로운 경로 계획 알고리즘을 적용함으로써, 정확한 촬영 위치 설정과 부드러운 전환을 달성하여 기존의 GPS보다 정확도와 화면 공간 안정성 면에서 뚜렷한 우수성을 보였다.

ABSTRACT

We present a system to capture video footage of human subjects in the real world. Our system leverages a quadrotor camera to automatically capture well-composed video of two subjects. Subjects are tracked in a large-scale outdoor environment using RTK GPS and IMU sensors. Then, given the tracked state of our subjects, our system automatically computes static shots based on well-established visual composition principles and canonical shots from cinematography literature. To transition between these static shots, we calculate feasible, safe, and visually pleasing transitions using a novel real-time trajectory planning algorithm. We evaluate the performance of our tracking system, and experimentally show that RTK GPS significantly outperforms conventional GPS in capturing a variety of canonical shots. Lastly, we demonstrate our system guiding a consumer quadrotor camera autonomously capturing footage of two subjects in a variety of use cases. This is the first end-to-end system that enables people to leverage the mobility of quadrotors, as well as the knowledge of expert filmmakers, to autonomously capture high-quality footage of people in the real world.

연구 동기 및 목표

• 실외 환경에서 4축 항공기 카메라를 사용하여 두 인물 주제에 대해 자율적이고 고품질의 영상 촬영을 가능하게 하기.
• 실세계 드론 영화 촬영에 기존에 알려진 영화 촬영 타입과 구성 규칙을 적용하기.
• 비행 중 드론과 주제 간 최소 거리(안전 영역)를 유지함으로써 안전성을 확보하기.
• 촬영 간 전환 경로를 실시간으로 계획하여 시각적으로 매력적이고 물리적으로 구현 가능한 경로를 생성하기.
• RTK GPS가 기존 GPS보다 정확한 촬영 구성과 화면 공간 오차를 최소화하는 데서 뛰어난 성능을 보임을 입증하기.

제안 방법

• 시스템은 실시간 키네틱(RTK) GPS와 자이로스코프·가속도계(IMU) 센서를 사용하여 4축 항공기와 두 주제의 위치를 센티미터 수준의 정확도로 추적한다.
• 시각적 구성 원칙을 기반으로 고전적인 영화 촬영 타입(예: 정상, 내부, 외부)을 기반으로 정적 카메라 촬영을 계산한다.
• 안전 영역 제약 조건을 고려하면서도 시각적 구성 원칙을 유지하는 C⁴-연속적이고 동적 구현이 가능한 경로를 생성하는 새로운 실시간 경로 계획 알고리즘을 도입한다.
• 계획 알고리즘은 항상 드론이 주제로부터 최소 거리를 유지하도록 보장하여 충돌을 방지한다.
• 촬영 간 전환 경로는 시각적으로 매끄럽고 동적 구현 가능하도록 계산되며, 4축 항공기의 속도 및 가속도 제한을 준수한다.
• 비행 중 정밀한 위치 추정을 위해 RTK GPS 데이터와 IMU, 기압계 데이터를 융합한다.

실험 결과

연구 질문

• RQ1 RTK GPS는 4축 항공기 영화 촬영을 위한 정확한 촬영 위치 설정과 구성 타당성을 지원하기에 충분한 정밀도로 위치 추적을 가능하게 할 수 있는가?
• RQ2 물리적 구현 가능성과 주제의 안전성을 확보하면서도, 고전적인 촬영 타입 간에 미적으로 매력적인 전환을 어떻게 생성할 수 있는가?
• RQ3 RTK GPS는 정확한 주제 프레임링과 화면 공간 오차를 최소화하는 데서 기존 GPS보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 단지 구성 규칙과 센서 피드백만을 사용하여 4축 항공기가 수동 조종 없이 두 사람의 잘 구성된 영상을 자율적으로 촬영할 수 있는가?
• RQ5 안전 제약 조건(예: 주제로부터 최소 거리)을 시각적 품질에 영향을 주지 않도록 경로 계획에 통합하는 방법은 무엇인가?

주요 결과

• RTK GPS는 기존 GPS 대비 위치 오차를 1~2개 주기수 감소시켜 2cm 이내의 정확도를 달성했다.
• RTK GPS를 사용할 경우, 비행 시간의 95% 동안 4축 항공기는 목표 위치에서 0.35m 이내를 유지했으나, 기존 GPS는 1.05m 이내에 머물렀다.
• 기존 GPS는 수용할 수 없는 화면 공간 오차를 유발했으며, 이는 주제를 프레임의 반쪽 가량으로 이동시킬 수 있었고, 정밀한 촬영 구성에 부적합함을 시사했다.
• 시스템은 실세계 시나리오를 여러 차례 성공적으로 촬영했으며, 손대고 있는 사진, 잡기, 졸업식, 춤 연습 등 정확하고 잘 구성된 촬영을 이룩했다.
• 새로운 경로 계획 알고리즘이 시각적으로 매력적이고 안전하며 물리적으로 구현 가능한 촬영 간 전환을 생성하여 주제 프레임링과 안전 제약 조건을 유지했다.
• 결과적으로 센티미터 수준의 정밀한 위치 추적은 실세계 드론 촬영에서 영화 촬영 원칙을 신뢰성 있게 적용하기 위해 필수적임을 입증했다.