[論文レビュー] Automated Cinematography with Unmanned Aerial Vehicles

Quentin Galvane, Julien Fleureau+2 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Vision and Imaging参考文献 23被引用数 12

ひとこと要約

本論文は、自然言語によるショットコマンドを解釈することで、リアルタイムで映画的で説得力のあるカメラ運動を生成できる、ドローンに依存しない高水準の映画的制御システムを提示する。仮想カメラ制御フレームワークをドローンに適応させ、PSLに基づくコマンドインタプリタを用いることで、1人または2人の移動中の被写体を滑らかで安定したフレーミングで追跡する制御を実現した。実ドローンとシミュレーションを用いた屋内実験で検証された。

ABSTRACT

The rise of Unmanned Aerial Vehicles and their increasing use in the cinema industry calls for the creation of dedicated tools. Though there is a range of techniques to automatically control drones for a variety of applications, none have considered the problem of producing cinematographic camera motion in real-time for shooting purposes. In this paper we present our approach to UAV navigation for autonomous cinematography. The contributions of this research are twofold: (i) we adapt virtual camera control techniques to UAV navigation; (ii) we introduce a drone-independent platform for high-level user interactions that integrates cinematographic knowledge. The results presented in this paper demonstrate the capacities of our tool to capture live movie scenes involving one or two moving actors.

研究の動機と目的

• 自律的ドローン映画制作におけるリアルタイムで映画的配慮のあるUAV制御システムの不足に対処する。
• 専門家でないユーザーが、手動操縦の代わりに直感的で高水準なコマンドを用いて映画的ショットを生成できるようにする。
• 映画的意図をドローン固有の制御から分離することで、ドローンに依存しないプラットフォームを構築する。
• 動的な被写体の追跡中に滑らかで安定したカメラの移動と一貫したフレーミングを保証する。
• 実世界への導入前にシステムを検証・最適化できる、トレーニングおよびシミュレーションフレームワークを提供する。

提案手法

• CGIで一般的に用いられる仮想カメラ制御技術を、物理的環境におけるリアルタイムUAVナビゲーションに適応する。
• 自然言語による映画的コマンド（例：「MS on A 3/4 back-right」）を実行可能なカメラ軌道に翻訳するためのプローズ・ストーリーボード言語（PSL）インタプリタを実装する。
• モーションキャプチャを用いたリアルタイムの状態推定により、ドローンおよび被写体の位置を追跡し、正確なフィードバック制御を可能にする。
• 映画的制約を尊重しながら、ショット設定間の滑らかで衝突のない移行を生成するパスプランニングモジュールを設計する。
• 移動中のターゲットのフレーミングを維持するために、ドローンの位置および姿勢を動的に調整するサーボ制御システムを統合する。
• 実ドローンの挙動を再現するシミュレーションプラットフォームを開発し、物理的ハードウェアを用いずにトレーニングおよびテストが可能にする。

実験結果

リサーチクエスチョン

• RQ1 高水準な映画的コマンドは、リアルタイムで安定したUAV飛行軌道に効果的に変換可能か？
• RQ2 仮想カメラ制御の原則は、ロータリーワイアドUAVの物理的制約にどのように適応可能か？
• RQ3 ドローンに依存しないシステムは、複雑な移行においても、動的なターゲットに対して一貫したフレーミングを保てるか？
• RQ4 異なる運動パターンを示す複数の被写体を、ショット構成を保持しながら信頼性高く追跡できるか？
• RQ5 映画的知識の統合は、非専門家ユーザーの使いやすさをどのように向上させるか？

主な発見

• 本システムは、前方中距離ショットから3/4後方斜めショットへの移行など、多様なショットタイプ間で滑らかな移行を実現した一方で、1人の移動中の被写体に対して一貫したフレーミングを維持した。
• ドローンは動的な移動中の1人の被写体を正確にフレーミングしながら自律的に追跡し、リアルタイムでの追従性能が優れていることを示した。
• 複数被写体のシナリオでは、被写体が異なる速度や方向で移動しても、意図された構図（例：ショルダーハイのショット）を維持した。
• シミュレーションプラットフォームは実ドローンの挙動を正確に再現し、物理的導入前に制御システムのトレーニングおよび検証が可能であった。
• ユーザー研究を計画しており、映画監督、パイロット、非専門家を対象とした、本システムの使いやすさおよび有効性のさらなる検証を実施する予定である。
• 本フレームワークは、リアルタイムの状態フィードバックを伴う完全にキャプチャされた屋内環境で実現可能であり、正確で応答性の高い制御が可能であることを示した。