[论文解读] Autonomous drone cinematographer: Using artistic principles to create smooth, safe, occlusion-free trajectories for aerial filming

Rogerio Bonatti, Yanfu Zhang+3 more|arXiv (Cornell University)|Aug 28, 2018

Advanced Vision and Imaging被引用 16

一句话总结

本文提出了一种自主无人机电影摄影师，通过优化复合代价函数，实现平滑、安全且具有美学吸引力的空中轨迹，该代价函数平衡了运动平滑性、避障、遮挡避免以及电影构图。在1.25小时的户外真实飞行中，以5Hz的频率、10秒的预测时域进行评估，系统成功避免了65次障碍物或遮挡，同时在噪声较大的演员运动预测下仍保持了高视觉质量。

ABSTRACT

Autonomous aerial cinematography has the potential to enable automatic capture of aesthetically pleasing videos without requiring human intervention, empowering individuals with the capability of high-end film studios. Current approaches either only handle off-line trajectory generation, or offer strategies that reason over short time horizons and simplistic representations for obstacles, which result in jerky movement and low real-life applicability. In this work we develop a method for aerial filming that is able to trade off shot smoothness, occlusion, and cinematography guidelines in a principled manner, even under noisy actor predictions. We present a novel algorithm for real-time covariant gradient descent that we use to efficiently find the desired trajectories by optimizing a set of cost functions. Experimental results show that our approach creates attractive shots, avoiding obstacles and occlusion 65 times over 1.25 hours of flight time, re-planning at 5 Hz with a 10 s time horizon. We robustly film human actors, cars and bicycles performing different motion among obstacles, using various shot types.

研究动机与目标

• 实现兼顾电影质量、安全性和平滑性的实时自主空中拍摄。
• 解决先前方法的局限性，这些方法要么离线预计算轨迹，要么无法处理遮挡和复杂障碍物形状。
• 将电影构图的艺术原则——如三分法、镜头尺度和画面位置——整合到实时运动规划框架中。
• 在噪声较大的演员运动预测和动态环境中确保鲁棒性能。
• 开发一种可扩展、通用的系统，适用于多种镜头类型和真实拍摄场景。

提出的方法

• 该系统将空中电影拍摄建模为一个实时轨迹优化问题，采用复合代价函数 J，综合平滑性、避障、遮挡避免和镜头构图代价。
• 提出一种新颖的实时协变梯度下降算法，以高效最小化代价函数，实现实时收敛和5Hz频率下的重规划。
• 采用10秒的时间预测时域，结合预测的演员轨迹（ξₐ）和预计算的TSDF环境地图以表示障碍物。
• 将电影镜头参数——镜头尺度、画面位置、视线角度和倾斜角——编码为时变约束，以引导摄像机的电影意图。
• 显式建模遮挡代价函数 Jₒcᶜ，以惩罚因障碍物导致演员部分或完全被遮挡的轨迹，从而提升画面质量。
• 使用基于ROS的仿真流水线，结合照片级真实感渲染器，用于调整代价函数权重并验证系统在真实部署前的性能。

实验结果

研究问题

• RQ1 实时运动规划器是否能在动态真实环境中，生成符合电影构图原则、平滑、安全且具有美学吸引力的无人机轨迹？
• RQ2 与仅避障相比，显式建模遮挡避免如何提升空中镜头的视觉质量？
• RQ3 在噪声较大的演员运动预测和复杂障碍物几何形状下，该系统在多大程度上能保持高性能？
• RQ4 在避让遮挡和障碍物时，遵循艺术镜头指南与最小化轨迹偏离之间的权衡如何？
• RQ5 协变梯度下降的集成如何提升高维轨迹优化中的收敛速度和实时可行性？

主要发现

• 在1.25小时的真实飞行中，系统成功避免了65次障碍物或遮挡，证明了其在动态户外场景中的鲁棒性。
• 在含有40个球形障碍物的环境中，引入遮挡代价函数后，演员可见性提升了10%以上，相比仅避障方法。
• 在随机生成的40个障碍物环境中，具备遮挡感知能力的规划器实现了86.9%的轨迹上演员可见性，而仅避障方法为75.3%。
• 使用遮挡避免时，平均与理想艺术轨迹的距离增加至10.7米（仅避障时为0.5米），表明可见性与构图保真度之间存在权衡。
• 系统在噪声较大的演员预测下仍保持5Hz重规划的实时性能，并实现了最高7.5 m/s的速度。
• 照片级真实感仿真环境有效支持了代价函数权重的调优，并在野外部署前验证了完整流水线的可靠性。