[論文レビュー] Autonomous drone cinematographer: Using artistic principles to create smooth, safe, occlusion-free trajectories for aerial filming

Rogerio Bonatti, Yanfu Zhang+3 more|arXiv (Cornell University)|Aug 28, 2018

Advanced Vision and Imaging被引用数 16

ひとこと要約

本論文は、運動のなめらかさ、障害物回避、隠蔽回避、映像的構図のバランスをとった複合コスト関数を最適化することで、滑らかで安全かつ美的に魅力的な空中軌道を生成する自律型ドローン映像作家を提示する。10秒の時間窓と予測されたアクターの軌道を用い、環境の事前計算済みTSDFマップを障害物表現に用い、5Hzで1.25時間にわたる実環境屋外飛行において、ノイズの多いアクター予測下でも高い視覚的品質を維持しながら、障害物または隠蔽を65回にわたり成功裏に回避した。

ABSTRACT

Autonomous aerial cinematography has the potential to enable automatic capture of aesthetically pleasing videos without requiring human intervention, empowering individuals with the capability of high-end film studios. Current approaches either only handle off-line trajectory generation, or offer strategies that reason over short time horizons and simplistic representations for obstacles, which result in jerky movement and low real-life applicability. In this work we develop a method for aerial filming that is able to trade off shot smoothness, occlusion, and cinematography guidelines in a principled manner, even under noisy actor predictions. We present a novel algorithm for real-time covariant gradient descent that we use to efficiently find the desired trajectories by optimizing a set of cost functions. Experimental results show that our approach creates attractive shots, avoiding obstacles and occlusion 65 times over 1.25 hours of flight time, re-planning at 5 Hz with a 10 s time horizon. We robustly film human actors, cars and bicycles performing different motion among obstacles, using various shot types.

研究の動機と目的

• リアルタイムで自律的かつ映像的質と安全性・滑らかさのバランスをとった空中撮影を可能にすること。
• 従来の手法がオフラインで軌道を事前計算するか、隠蔽や複雑な障害物の形状を適切に処理できないという限界を克服すること。
• 三畳の法則、ショットスケール、スクリーン位置といった映像的構図のガイドラインを、リアルタイムの運動計画フレームワークに統合すること。
• ノイズの多いアクターの運動予測と動的な環境下でも頑健な性能を確保すること。
• 多様なショットタイプや現実世界の撮影シナリオに適用可能なスケーラブルで一般化可能なシステムを開発すること。

提案手法

• 本システムは、滑らかさ、障害物回避、隠蔽回避、ショット構図のコストを統合した複合コスト関数 J を用いて、空中映像制作をリアルタイムの軌道最適化問題として定式化する。
• 効率的なコスト関数の最小化を可能にする新規のリアルタイム共変勾配降下法を提案し、5Hzでの高速収束と再計画を実現する。
• 10秒の時間窓を用い、予測されたアクター軌道 (ξₐ) と環境の事前計算済みTSDFマップを障害物表現に使用する。
• ショットスケール、スクリーン位置、アクションラインの角度、チルトといった芸術的ショットパラメータを時間変動制約として符号化し、カメラの映像的意図をガイドする。
• 隠蔽コスト関数 Jₒcᶜ を明示的にモデル化し、障害物に部分的または完全に遮られることをペナルティ化することで、フレームの視覚的品質を向上させる。
• コスト関数の重みをチューニングし、実環境へのデプロイ前にシステムを検証するために、写真実体感のあるレンダラを備えたROSベースのシミュレーションパイプラインを用いる。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムの運動計画法は、動的で現実的な環境下でも、映像的構図の原則に従い、滑らかで安全かつ美的に魅力的なドローン軌道を生成できるか？
• RQ2 隠蔽回避を明示的にモデル化することで、障害物のみの回避と比較して、空中ショットの視覚的品質はどの程度向上するか？
• RQ3 ノイズの多いアクターの運動予測と複雑な障害物の幾何形状下でも、システムはどの程度高い性能を維持できるか？
• RQ4 隠蔽や障害物を避ける際、芸術的ショットガイドラインの遵守と軌道のずれの最小化の間には、どのようなトレードオフが生じるか？
• RQ5 共変勾配降下法の統合により、高次元の軌道最適化において収束速度とリアルタイム実行可能性はどの程度向上するか？

主な発見

• 実環境飛行1.25時間の間、障害物または隠蔽を65回にわたり成功裏に回避し、動的で屋外のシナリオにおいても頑健であることを実証した。
• 隠蔽コスト関数を導入したことで、40個の球体障害物を含む環境下で、純粋な障害物回避と比較してアクターの可視性が10%以上向上した。
• 40個の障害物を含むランダムな環境下で、隠蔽を考慮した計画法は軌道上でのアクター可視性を86.9%に達成したのに対し、障害物のみの回避では75.3%にとどまった。
• 隠蔽回避を実施した際、望ましい芸術的軌道からの平均距離は0.5mから10.7mに増加した。これは、可視性と構図の忠実度の間のトレードオフを示している。
• ノイズの多いアクター予測下でも、5Hzでの再計画を維持し、最大7.5 m/sの速度を達成した。
• 写真実体感のあるシミュレーション環境により、コスト関数の重みの有効なチューニングと、実環境へのデプロイ前のパイプライン全体の検証が可能になった。