[論文レビュー] Robust Autonomous Landing of UAV in Non-Cooperative Environments based on Dynamic Time Camera-LiDAR Fusion

Lyujie Chen, Xiaming Yuan+3 more|arXiv (Cornell University)|Nov 27, 2020

Robotics and Sensor-Based Localization参考文献 34被引用数 9

ひとこと要約

本稿では、非協力的環境におけるUAVの自律着陸を確実に実現するため、低コストLiDARと単眼カメラを用いた動的時間深度補完手法を提案する。ステレオビジョンを用いた自己評価メカニズムに基づき、LiDARの統合時間を動的に調整することで、正確な深度マップを確保し、未知の環境でも平坦で安全な着陸地点を信頼性高く検出可能となる。特に、未確認のシーンでは平均0.7秒のLiDAR蓄積時間を要するが、これにより精度と速度のバランスが図られる。

ABSTRACT

Selecting safe landing sites in non-cooperative environments is a key step towards the full autonomy of UAVs. However, the existing methods have the common problems of poor generalization ability and robustness. Their performance in unknown environments is significantly degraded and the error cannot be self-detected and corrected. In this paper, we construct a UAV system equipped with low-cost LiDAR and binocular cameras to realize autonomous landing in non-cooperative environments by detecting the flat and safe ground area. Taking advantage of the non-repetitive scanning and high FOV coverage characteristics of LiDAR, we come up with a dynamic time depth completion algorithm. In conjunction with the proposed self-evaluation method of the depth map, our model can dynamically select the LiDAR accumulation time at the inference phase to ensure an accurate prediction result. Based on the depth map, the high-level terrain information such as slope, roughness, and the size of the safe area are derived. We have conducted extensive autonomous landing experiments in a variety of familiar or completely unknown environments, verifying that our model can adaptively balance the accuracy and speed, and the UAV can robustly select a safe landing site.

研究の動機と目的

• 事前に定義された着陸マークや通信が存在しない非協力的環境において、UAVの強固な自律着陸を可能にすること。
• 空撮シーンにおける既存の深層学習ベースの深度推定手法に見られる一般化性能の低さと、誤差の自己検出機能の欠如を解決すること。
• 正確な地形評価を実現するため、単眼カメラとLiDARを組み合わせたリアルタイムで低コストのセンシングシステムを開発すること。
• 推論速度と深度精度のバランスを、深度品質のリアルタイム自己評価に基づき、LiDAR統合時間を動的に調整することで最適化すること。

提案手法

• ステレオ画像からの自己教師付き学習とLiDARからのスパarsな真値を統合して学習する動的時間深度補完ネットワークを構築。ResNet-18をバックボーンとし、深度、エッジ、フォトメトリック、滑らかさのマルチタスク損失を採用。
• モデルの多様な環境への一般化性能を向上させるために、スパース深度入力の密度を動的に選択する混合学習戦略を採用。
• 推論時にステレオ画像の一貫性（SSIMおよびフォトメトリック損失）を用いて、予測された深度マップの品質を自己評価するメカニズムを導入。
• 自己評価スコアに基づき、リアルタイムでLiDAR統合時間を適応的に選択し、精度と速度のバランスを最適化。
• 深度マップに対して透視変換およびモルフォロジカル操作（エロージョン/ディレーショング）を適用し、傾斜、粗さ、安全領域の大きさなどの地形特徴を抽出。
• NVIDIA Jetson TX2上でリアルタイム推論パイプラインを実装し、平均33msの推論時間で、UAVへの統合に適した性能を達成。

実験結果

リサーチクエスチョン

• RQ1 事前に地図や着陸マークが存在しない完全に未知の非協力的環境において、UAVがどのようにして安全な着陸地点を強固に検出できるか？
• RQ2 動的時間深度補完戦略は、未確認の空撮シーンにおいて、深度推定の一般化性能と信頼性を向上させることができるか？
• RQ3 リアルタイムで深度予測品質を自己評価し、その結果に基づきLiDAR統合時間を適応的に選択する仕組みは、どのように実現可能か？
• RQ4 低コストの単眼カメラ-LiDARシステムは、自律着陸に適したリアルタイムかつ高精度な深度推定をどの程度達成できるか？
• RQ5 動的LiDAR蓄積において、深度精度と推論速度のトレードオフはどのようなものであり、どのように最適化できるか？

主な発見

• 提案された動的時間深度補完手法により、LiDAR統合時間が延長するにつれて、RMSEおよびREL指標の両方が顕著に改善された。
• NVIDIA Jetson TX2上での平均推論時間は33msであり、UAVアプリケーションにおけるリアルタイム要件を満たしている。
• 未知の環境では、信頼性のある深度予測を達成するための平均LiDAR蓄積時間が0.7秒であった。これは、精度と速度の適応的バランスを図っていることを示している。
• 自己評価メカニズムにより、低品質な深度予測を効果的に検出し、是正した。これにより、困難なシーンでもシステムの耐障害性が向上した。
• UAVは、熟知済みおよび完全に未知の実環境の両方において、滑らかで安定した飛行軌道を描き、最小限のホバータイムで自律着陸を完了した。
• 図6および図7の可視化結果は、システムが平坦で安全な着陸地点を検出し、安定的かつ制御された降下を実現できることを確認している。