[論文レビュー] Image Segmentation to Identify Safe Landing Zones for Unmanned Aerial Vehicles

Joe Kinahan, Alan F. Smeaton|arXiv (Cornell University)|Nov 29, 2021

Robotic Path Planning Algorithms被引用数 5

ひとこと要約

本論文では、ドローンの安全な着陸地点をリアルタイムに特定するための軽量な意味的画像セグメンテーションモデルを提案する。単一のRGBカメラ画像を用い、搭載エネルギー消費を最小限に抑える。クロップされたフレームにおける効率的な推論を活用することで、多様な環境で高い精度を達成するが、『ワイルドウエスト』のような訓練済みでない環境では、未確認のテクスチャーや屋根の誤分類により、公園では優れた性能を示すが、『ワイルドウエスト』では性能が著しく低下する。

ABSTRACT

There is a marked increase in delivery services in urban areas, and with Jeff Bezos claiming that 86% of the orders that Amazon ships weigh less than 5 lbs, the time is ripe for investigation into economical methods of automating the final stage of the delivery process. With the advent of semi-autonomous drone delivery services, such as Irish startup `Manna', and Malta's `Skymax', the final step of the delivery journey remains the most difficult to automate. This paper investigates the use of simple images captured by a single RGB camera on a UAV to distinguish between safe and unsafe landing zones. We investigate semantic image segmentation frameworks as a way to identify safe landing zones and demonstrate the accuracy of lightweight models that minimise the number of sensors needed. By working with images rather than video we reduce the amount of energy needed to identify safe landing zones for a drone, without the need for human intervention.

研究の動機と目的

• 単一のRGBカメラのみを用いて、配達ドローンの安全な着陸地点を特定する、エネルギー効率的で搭載可能な手法を開発すること。
• GPS や外部データへの依存を減らし、着陸地点の適合性をリアルタイムで局所的に評価できるようにすること。
• リソース制限のあるUAVに適合させるために、軽量なディープラーニングモデルによるセンサ数と計算負荷の最小化を図ること。
• シミュレートされた着陸動画を用いて、多様な実世界に類似した環境におけるモデル性能を評価すること。
• モデル精度を低下させる環境要因を特定し、データ拡張戦略の提案を行うこと。

提案手法

• 著者らは、さまざまな着陸環境の合成RGB画像で訓練された、軽量なU-NetベースのCNNアーキテクチャを用いた意味的セグメンテーションを採用する。
• 推論時の計算負荷を軽減するため、画像を中央の注目領域にクロップする。
• マルチクラスセグメンテーションアプローチを用い、ピクセルを「安全」（芝、舗装など）または「危険」（障害物、水、屋根）に分類する。
• シミュレーション環境で下向きカメラが撮影した動画シーケンスを対象に、フレーム単位で推論を実行する。
• 交差率（IoU）と誤検出率（FPR）を用いてモデル性能を評価し、安全性に深刻な影響を及えるためFPRを優先する。
• 動画処理を回避し、個々のフレームを分析することで、エネルギー消費を削減し、リアルタイム動作を実現する。

Figure 1: Example aerial photo and its associated mask (top row) and two examples of aerial shots captured in two different environments from the AI Drone Simu game (bottom row) showing how realistic our test videos are.

実験結果

リサーチクエスチョン

• RQ1 単一のRGBカメラを用いた軽量な意味的セグメンテーションモデルは、UAV上でどれほど正確に安全な着陸地点を検出できるか？
• RQ2 精度とエネルギー効率のバランスを考慮した場合、最適なフレームレートと画像クロッピング戦略は何か？
• RQ3 モデル性能は、特にトレーニング時に見未曾る環境において、どのように変化するか？
• RQ4 誤検出（危険な領域を安全と誤分類）は、着陸の安全性にどの程度影響を及えるか。また、それらをどのように最小限に抑えることができるか？
• RQ5 GPS やDEMに依存せず、搭載型のフレームベースのセグメンテーションが、リアルタイムの着陸地点適合性の検証を代替できるか？

主な発見

• モデルは公園環境で最高のIoUと最小のFPRを達成し、木や影といった障害物が正しく分類された。
• 『ワイルドウエスト』環境では、未確認の草地やほこりだらけの地形、平坦な屋根が安全な着陸地点として誤分類されたため、性能が著しく低下した。
• 海辺環境では、フレーム5から10の間に波の模様などの表面ディテールが可視化され始め、誤検出が急増したが、低高度での検出精度が向上した。
• 平坦でテクスチャのない表面（平坦な屋根や水体）を含む環境では、モデルの性能が著しく低く、しばしば安全と誤分類された。
• 誤検出率（FPR）は『ワイルドウエスト』および海辺のシナリオで最も高く、危険な表面に着陸を試みるリスクが高まっていることを示している。
• 低高度でのモデル精度が顕著に向上した。これは、近距離での高解像度でテクスチャが豊富な入力が、セグメンテーションの信頼性を高めることを示している。

Figure 2: Projection of surface area of subsequent frames onto the initial mask