[論文レビュー] Towards a Drone Cinematographer: Guiding Quadrotor Cameras using Visual Composition Principles

N. Joubert, Jane L. E+5 more|arXiv (Cornell University)|Oct 5, 2016

Robotic Path Planning Algorithms参考文献 27被引用数 51

ひとこと要約

本論文では、映画的構図原理を用いて屋外環境における2人の人物の良好な構図の動画を自律的に撮影する、エンド・ツー・エンドのシステムを提示する。RTK GPSを用いたセンチメートル級の高精度な追跡と、安全性と視覚的魅力を保証する新規の軌道計画アルゴリズムを活用することで、システムは正確なショット配置と滑らかな移行を実現し、従来のGPSに比べて精度とスクリーン内安定性において顕著に優れている。

ABSTRACT

We present a system to capture video footage of human subjects in the real world. Our system leverages a quadrotor camera to automatically capture well-composed video of two subjects. Subjects are tracked in a large-scale outdoor environment using RTK GPS and IMU sensors. Then, given the tracked state of our subjects, our system automatically computes static shots based on well-established visual composition principles and canonical shots from cinematography literature. To transition between these static shots, we calculate feasible, safe, and visually pleasing transitions using a novel real-time trajectory planning algorithm. We evaluate the performance of our tracking system, and experimentally show that RTK GPS significantly outperforms conventional GPS in capturing a variety of canonical shots. Lastly, we demonstrate our system guiding a consumer quadrotor camera autonomously capturing footage of two subjects in a variety of use cases. This is the first end-to-end system that enables people to leverage the mobility of quadrotors, as well as the knowledge of expert filmmakers, to autonomously capture high-quality footage of people in the real world.

研究の動機と目的

• 屋外環境におけるマルチコプター・カメラを用いた2名の人物の自律的で高品質な動画撮影を可能にすること。
• 実世界のドローン・コメンテージに、確立された映画的ショットタイプと構図ルールを適用すること。
• 飛行中にドローンと被写体との間の最小距離（セーフティ・スフィア）を保証することで、安全を確保すること。
• 視覚的に魅力的で物理的に実現可能なショット間の移行を生成するリアルタイムの軌道計画アルゴリズムを開発すること。
• RTK GPSが従来のGPSに比べて、正確なショット構図の実現とスクリーン内誤差の低減において優れていることを実証すること。

提案手法

• システムは、マルチコプターと2名の被写体の両方をセンチメートル級の精度で追跡するために、リアルタイム・キネマティクス（RTK）GPSとIMUセンサを用いる。
• 視覚的構図原理を用いて、代表的な映画的ショットタイプ（例：アペックス、インナーリング、エクスターナル）に基づいた静的カメラショットを計算する。
• C⁴連続で、動的実現可能なパスを生成する新規のリアルタイム軌道計画アルゴリズムを採用し、視覚的構図を維持しながらセーフティ・スフィア制約を満たす。
• アルゴリズムは、常に被写体から最小距離を保つように設計されており、衝突を防止する。
• ショット間の移行は、マルチコプターの速度および加速度制限を満たしつつ、視覚的に滑らかで物理的に実現可能であるように計算される。
• 飛行中のローカライゼーションを強固にするために、RTK GPSとIMU、バロメータのデータを融合する。

実験結果

リサーチクエスチョン

• RQ1 RTK GPSは、マルチコプター・コメンテージのための正確で構図的に妥当なカメラ配置を実現するのに十分な精度のローカライゼーションを可能にするか？
• RQ2 物理的実現可能性と被写体の安全を確保しつつ、代表的なショット間の視覚的に魅力的な移行をどのように生成できるか？
• RQ3 RTK GPSは、正しい被写体フレーミングを維持し、スクリーン内誤差を最小限に抑える点で、従来のGPSに比べてどの程度優れているか？
• RQ4 構図ルールとセンサフィードバックのみを用いて、マルチコプターが手動操縦なしに2人の人物の良好な構図の映像を自律的に撮影できるか？
• RQ5 安全制約（例：被写体からの最小距離）を視覚的質を損なわずに軌道計画に統合するにはどうすればよいか？

主な発見

• RTK GPSは、従来のGPSに比べて位置誤差を1〜2桁減少させ、2cm未満の精度を達成した。
• RTK GPSを用いた場合、飛行時間の95％間、マルチコプターは目標位置から0.35m以内に留まったが、従来のGPSでは1.05mの誤差が生じた。
• 従来のGPSは、被写体をフレームの真ん中から半分以上ずらすような許容できないスクリーン内誤差を引き起こし、正確なショット構図には不適切であった。
• 本システムは、セルフィー、キャッチ、学位授与式、ダンスパフォーマンスなど、複数のリアルワールドのシナリオを正確かつ良好に構図されたショットで成功裏に撮影した。
• 新規の軌道計画アルゴリズムは、視覚的に魅力的で安全かつ物理的に実現可能なショット間移行を生成し、被写体フレーミングと安全制約を維持した。
• 結果から、リアルワールドのドローン撮影における映画的構図原理の信頼性ある適用には、センチメートル級のローカライゼーションが不可欠であることが裏付けられた。