[논문 리뷰] Autonomous drone cinematographer: Using artistic principles to create smooth, safe, occlusion-free trajectories for aerial filming

Rogerio Bonatti, Yanfu Zhang외 3명|arXiv (Cornell University)|2018. 08. 28.

Advanced Vision and Imaging인용 수 16

한 줄 요약

이 논문은 운동의 매끄러움, 장애물 회피, 가림막힘 회피, 영화 촬영 기법을 균형 잡힌 복합 비용 함수 최적화를 통해 부드럽고 안전하며 시각적으로 매력적인 공중 궤적을 생성하는 자율 드론 영상 촬영 기술을 제안한다. 10초의 시점과 5Hz 속도로 실외에서 1.25시간 동안의 비행 테스트를 통해, 시끄러운 연기자 예측 조건에서도 높은 시각적 품질을 유지하면서 장애물이나 가림막힘을 총 65회 성공적으로 회피하였다.

ABSTRACT

Autonomous aerial cinematography has the potential to enable automatic capture of aesthetically pleasing videos without requiring human intervention, empowering individuals with the capability of high-end film studios. Current approaches either only handle off-line trajectory generation, or offer strategies that reason over short time horizons and simplistic representations for obstacles, which result in jerky movement and low real-life applicability. In this work we develop a method for aerial filming that is able to trade off shot smoothness, occlusion, and cinematography guidelines in a principled manner, even under noisy actor predictions. We present a novel algorithm for real-time covariant gradient descent that we use to efficiently find the desired trajectories by optimizing a set of cost functions. Experimental results show that our approach creates attractive shots, avoiding obstacles and occlusion 65 times over 1.25 hours of flight time, re-planning at 5 Hz with a 10 s time horizon. We robustly film human actors, cars and bicycles performing different motion among obstacles, using various shot types.

연구 동기 및 목표

• 실시간으로 자율적인 공중 촬영을 가능하게 하여 영화적 품질, 안전성, 매끄러움을 균형 잡는다.
• 이전 방법들이 선제적으로 궤적을 계산하거나 가림막힘과 복잡한 장애물 형태를 처리하지 못하는 한계를 해결한다.
• 3분할 법칙, 촬영 스케일, 화면 위치와 같은 예술적 영화 촬영 지침을 실시간 운동 계획 프레임워크에 통합한다.
• 노이즈가 많은 연기자 운동 예측과 동적인 환경 조건에서도 견고한 성능을 확보한다.
• 다양한 촬영 유형과 실제 촬영 상황에 적용 가능한 확장성 있고 일반화된 시스템을 개발한다.

제안 방법

• 시스템은 운동의 매끄러움, 장애물 회피, 가림막힘 회피, 촬영 구성 비용을 통합한 복합 비용 함수 J를 사용하여 공중 영상 촬영을 실시간 궤적 최적화 문제로 공식화한다.
• 비용 함수를 효율적으로 최소화하기 위해 실시간 공변 경사 하강법을 제안하며, 이는 5Hz에서의 빠른 수렴과 재계획 수립을 가능하게 한다.
• 예측된 연기자 궤적(ξₐ)과 환경의 사전 계산된 TSDF 지도를 사용하여 10초의 시간 시점으로 장애물 표현을 수행한다.
• 촬영 스케일, 화면 위치, 라인 오브 액션 각도, 기울임 각도와 같은 예술적 촬영 매개변수를 시간에 따라 변하는 제약 조건으로 표현하여 카메라의 영화적 의도를 이끌어낸다.
• 가림막힘 비용 함수 Jₒcᶜ를 명시적으로 모델링하여, 장애물에 의해 연기자가 부분적 또는 완전히 가려지는 궤적에 대해 비용을 부과함으로써 시각적 프레임 품질을 향상시킨다.
• 사진처럼 현실적인 렌더러를 탑재한 ROS 기반 시뮬레이션 파이프라인을 사용하여 비용 함수 가중치를 튜닝하고 실외 배포 이전에 시스템을 검증한다.

실험 결과

연구 질문

• RQ1 실시간 운동 계획자가 동적인 실외 환경에서 영화 촬영 원칙을 준수하면서도 매끄럽고 안전하며 시각적으로 매력적인 드론 궤적을 생성할 수 있는가?
• RQ2 가림막힘 회피를 명시적으로 모델링하면 장애물 전용 회피와 비교해 시각적 품질이 어떻게 향상되는가?
• RQ3 노이즈가 많은 연기자 운동 예측과 복잡한 장애물 기하학적 형태 조건 하에서도 시스템이 얼마나 높은 성능을 유지할 수 있는가?
• RQ4 가림막힘과 장애물 회피를 동시에 고려할 때, 영화 촬영 지침을 따르는 것과 궤적 이탈 최소화 사이의 상호 교환 관계는 어떠한가?
• RQ5 공변 경사 하강법의 통합이 고차원 궤적 최적화에서 수렴 속도와 실시간 실행 가능성을 어떻게 향상시키는가?

주요 결과

• 실제 외부 비행 1.25시간 동안 시스템은 장애물이나 가림막힘을 총 65회 성공적으로 회피하여 동적인 실외 환경에서의 견고성을 입증하였다.
• 가림막힘 비용 함수를 적용한 결과, 40개의 구형 장애물이 있는 환경에서 연기자 가시성이 순수 장애물 회피 대비 10퍼센트 이상 향상되었다.
• 랜덤으로 구성된 40개의 장애물 환경에서, 가림막힘 인식 계획자에서는 궤적 상에서 연기자 가시성이 86.9퍼센트를 기록했으며, 장애물 전용 회피 대비 75.3퍼센트에 그쳤다.
• 가림막힘 회피를 사용할 경우 예상 예술적 궤적과의 평균 거리가 10.7m로 증가했으며(장애물 전용은 0.5m), 이는 가시성 확보와 구성 충실도 사이의 상충 관계를 시사한다.
• 노이즈가 많은 연기자 예측 조건에서도 실시간 성능을 유지를 하며 5Hz 재계획 수립을 수행했고, 최대 속도 7.5 m/s를 기록하였다.
• 사진처럼 현실적인 시뮬레이션 환경을 통해 비용 함수 가중치를 효과적으로 튜닝하고, 현장 배포 이전에 전체 파이프라인을 검증할 수 있었다.