[논문 리뷰] Robust Autonomous Landing of UAV in Non-Cooperative Environments based on Dynamic Time Camera-LiDAR Fusion

Lyujie Chen, Xiaming Yuan외 3명|arXiv (Cornell University)|2020. 11. 27.

Robotics and Sensor-Based Localization참고 문헌 34인용 수 9

한 줄 요약

이 논문은 비협력적 환경에서 UAV 자율 착륙을 위한 저비용 LiDAR와 스테레오 카메라를 활용한 동적 시간 깊이 보완 방법을 제안한다. 스테레오 영시를 이용한 자체 평가 메커니즘을 기반으로 LiDAR 통합 시간를 동적으로 조정함으로써 정확한 깊이 맵을 확보하여, 사전 지도나 착륙 마크가 없는 미지 환경에서도 평균 0.7초의 LiDAR 누적 시간으로 평탄하고 안전한 착륙 부위를 신뢰성 있게 탐지할 수 있다.

ABSTRACT

Selecting safe landing sites in non-cooperative environments is a key step towards the full autonomy of UAVs. However, the existing methods have the common problems of poor generalization ability and robustness. Their performance in unknown environments is significantly degraded and the error cannot be self-detected and corrected. In this paper, we construct a UAV system equipped with low-cost LiDAR and binocular cameras to realize autonomous landing in non-cooperative environments by detecting the flat and safe ground area. Taking advantage of the non-repetitive scanning and high FOV coverage characteristics of LiDAR, we come up with a dynamic time depth completion algorithm. In conjunction with the proposed self-evaluation method of the depth map, our model can dynamically select the LiDAR accumulation time at the inference phase to ensure an accurate prediction result. Based on the depth map, the high-level terrain information such as slope, roughness, and the size of the safe area are derived. We have conducted extensive autonomous landing experiments in a variety of familiar or completely unknown environments, verifying that our model can adaptively balance the accuracy and speed, and the UAV can robustly select a safe landing site.

연구 동기 및 목표

• 사전 정의된 착륙 마크나 통신이 없는 비협력적 환경에서 UAV의 견고한 자율 착륙을 가능하게 하기 위해.
• 기존의 딥러닝 기반 깊이 추정 방법이 공기 영역에서 일반화 능력이 낮고 오류 자가 검출 기능이 부족한 문제를 해결하기 위해.
• 정확한 지형 평가를 위한 실시간, 저비용의 스테레오 카메라와 LiDAR를 융합한 인식 시스템을 개발하기 위해.
• 실시간으로 깊이 품질을 자가 평가함으로써 LiDAR 통합 시간을 적응적으로 조절하여 깊이 정확도와 추론 속도를 동적으로 균형 잡기 위해.

제안 방법

• 스테레오 영상에서의 공동 자기지도 학습과 LiDAR로부터의 희소 진짜값을 활용해 동적 시간 깊이 보완 네트워크를 훈련하며, ResNet-18을 백본으로 하여 다중 작업 손실(깊이, 윤곽, 사진적 손실, 스무스함)을 적용한다.
• 다양한 환경에서의 모델 일반화를 향상시키기 위해 희소 깊이 입력의 밀도를 동적으로 선택하는 혼합 훈련 전략을 적용한다.
• 추론 중에 스테레오 영상 일致성(SSIM 및 사진적 손실)을 이용해 예측된 깊이 맵 품질을 평가하는 자체 평가 메커니즘을 도입한다.
• 자기 평가 점수를 기반으로 실시간으로 LiDAR 통합 시간을 적응적으로 선택하여 정확도와 속도의 균형을 맞춘다.
• perspective 변환과 모폴로지 연산(침식/팽창)을 통해 깊이 맵을 처리하여 경사도, 거칠기, 안전 영역 크기 등의 지형 특징을 추출한다.
• NVIDIA Jetson TX2에서 실시간 추론 파이프라인을 구현하여 평균 33ms의 추론 시간을 달성하여 UAV 배치에 적합하다.

실험 결과

연구 질문

• RQ1 사전 지도나 착륙 마크가 없는 완전히 미지의 비협력적 환경에서 UAV 시스템이 어떻게 안전한 착륙 부위를 견고하게 탐지할 수 있는가?
• RQ2 동적 시간 깊이 보완 전략이 미리 보지 않은 공기 영역에서 깊이 추정의 일반화 능력과 신뢰성을 향상시킬 수 있는가?
• RQ3 시스템은 실시간으로 깊이 예측 품질을 어떻게 자가 평가하여 동적 LiDAR 통합 시간 선택을 가능하게 하는가?
• RQ4 저비용 스테레오 카메라-LiDAR 시스템이 자율 착륙을 위한 실시간 정확한 깊이 추정을 어느 정도 달성할 수 있는가?
• RQ5 동적 LiDAR 누적에서 깊이 정확도와 추론 속도 사이의 상호 교환 관계는 무엇이며, 이를 어떻게 최적화할 수 있는가?

주요 결과

• 제안된 동적 시간 깊이 보완 방법은 LiDAR 통합 시간이 증가할수록 RMSE 및 REL 지표에서 뚜렷한 향상을 보였다.
• NVIDIA Jetson TX2에서 평균 33ms의 추론 시간을 기록하여 UAV 응용에 실시간 요구 조건을 충족시켰다.
• 미지 환경에서 시스템은 신뢰할 수 있는 깊이 예측을 확보하기 위해 평균 0.7초의 LiDAR 누적 시간을 필요로 하여 정확도와 속도의 적응적 균형을 입증했다.
• 자기 평가 메커니즘이 낮은 품질의 깊이 예측을 성공적으로 탐지하고 수정하여 어려운 환경에서의 견고성을 향상시켰다.
• UAV는 익숙한 환경과 완전히 새로운 환경을 포함한 다양한 실제 환경에서 자율 착륙을 성공적으로 수행하였으며, 부드럽고 안정적인 궤도를 유지하고 최소한의 정지 시간을 기록했다.
• 그림 6 및 그림 7의 시각적 결과는 시스템이 평탄하고 안전한 착륙 부위를 탐지하고 안정적이고 제어 가능한 강하를 수행할 수 있음을 확인한다.