[논문 리뷰] On the Advantages of Multiple Stereo Vision Camera Designs for Autonomous Drone Navigation

Rui Pimentel de Figueiredo, Jakob Grimm Hansen외 3명|arXiv (Cornell University)|2021. 05. 26.

Robotics and Sensor-Based Localization참고 문헌 5인용 수 6

한 줄 요약

이 논문은 자율 드론 항법을 위한 재구성 가능한 카메라 어레이를 갖춘 다중 스테레오 카메라 UAV 시스템을 제안한다. 시각-자이로스코픽 SLAM, BiseNet 기반의 의미 분할, 다음 최적 시점(NBV) 계획을 통합하여 맵핑 정확도와 인지 범위를 향상시킨다. 주요 발견은 세 대의 카메라를 사용할 경우 비행 시간, 계산 부담, 맵핑 성능 간 최적의 트레이드오프를 달성하며, 실세계 시뮬레이션에서 단일 카메라 및 다섯 대 카메라 구성보다 뛰어난 성능을 보였다.

ABSTRACT

In this work we showcase the design and assessment of the performance of a multi-camera UAV, when coupled with state-of-the-art planning and mapping algorithms for autonomous navigation. The system leverages state-of-the-art receding horizon exploration techniques for Next-Best-View (NBV) planning with 3D and semantic information, provided by a reconfigurable multi stereo camera system. We employ our approaches in an autonomous drone-based inspection task and evaluate them in an autonomous exploration and mapping scenario. We discuss the advantages and limitations of using multi stereo camera flying systems, and the trade-off between number of cameras and mapping performance.

연구 동기 및 목표

• 복잡한 인공 구조 환경에서의 자율 점검을 위한 다중 스테레오 카메라 UAV 시스템을 설계하고 평가하는 것.
• 카메라 수, 비행 시간, 계산 부담, 맵핑 성능 간의 상호 트레이드오프를 평가하는 것.
• 확률적 의미-거리 맵핑과 다음 최적 시점(NBV) 계획을 통합하여 탐색 효율성을 향상시키는 것.
• 에너지 효율성과 인지 커버리지 사이의 균형을 고려해 최적의 카메라 구성(1, 3, 또는 5대)을 도출하는 것.
• 실세계 제약 조건을 반영한 현실적인 Gazebo 시뮬레이션 환경에서 시스템을 검증하는 것.

제안 방법

• 정사각형 기반의 다중 스테레오 카메라(3대 이하)를 수직 축에 대해 정렬하여 전방위 시각 커버리지를 확보한 다운코프터(DJI F450)를 사용한다.
• 확장된 칼만 필터(EKF)를 통해 시각 데이터와 IMU 데이터를 융합하여 상태 추정 및 시각-자이로스코픽 온도메트리(VIO) 성능을 향상시킨다.
• 재구성 가능한 다중 스테레오 카메라 구조를 통해 계획 수요에 따라 활성 카메라를 동적으로 선택할 수 있다.
• RGB 이미지에 대해 경량 BiseNet 기반의 딥 신경망(DCNN)을 사용하여 픽셀 단위의 의미 분류 확률 분포를 생성한다.
• 깊이 데이터를 활용해 의미 예측 결과를 3차원으로 투영하고, 이들을 부피형 오ク타맵에 융합하여 확률적 의미-거리 맵핑을 수행한다.
• 기하학적 및 의미적 정보를 모두 활용하는 RRT 기반의 NBV 플래너가 탐색 중 정보 수확을 극대화하는 최적의 시점 선택을 수행한다.

실험 결과

연구 질문

• RQ1 자율 UAV 항법에서 스테레오 카메라 수를 늘릴 경우(1, 3, 5대), 맵핑 성능과 비행 시간에 어떤 영향을 미치는가?
• RQ2 단일 카메라 시스템 대비 다중 카메라 인식이 인지 커버리지와 재구성 정확도를 얼마나 향상시키는가?
• RQ3 실제 UAV 플랫폼에서 카메라 수, 전력 소비, 비행 시간 간 최적의 트레이드오프는 무엇인가?
• RQ4 의미적 정보와 거리 정보를 효과적으로 융합하여 복잡한 실내 환경에서 다음 최적 시점 계획을 어떻게 지도할 수 있는가?
• RQ5 후면 및 하단 카메라가 전면 및 측면 카메라에 비해 장기 맵핑 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• 다섯 대의 카메라를 사용할 경우 전반적인 인지 커버리지가 향상되고 전체 커버리지 도달 시간이 단일 카메라보다 감소하지만, 비행 시간이 크게 감소하는 단점이 있다.
• 평균 비행 시간은 M=1일 때 8.79 ± 0.86분에서 M=5일 때 6.00 ± 0.99분으로 감소하여 추가 카메라로 인한 전력 및 무게 부담이 뚜렷하게 증가함을 시사한다.
• M=3 구성이 가장 균형 잡힌 성능을 보였으며, 커버리지 및 맵핑 효율성 향상에도 기여하면서도 비행 시간은 8.17 ± 0.41분을 유지하였다.
• 전면 및 측면 카메라가 후면 및 하단 카메라보다 장기 맵핑에 더 큰 기여를 하였으며, 이는 후면 및 하단 카메라의 가림 현상과 겹치는 시야 범위가 제한적이기 때문이다.
• 시뮬레이션 환경에서 시스템은 견고한 의미-거리 맵핑을 달성하였으며, 오크타맵 시각화 결과 시간이 지남에 따라 정확한 의미 레이블링과 점유 영역 증가가 관찰되었다.
• NBV 플래너는 기하학적 및 의미적 신호를 효과적으로 활용하여 정보성 높은 시점 선택을 수행하여 맵핑 수렴 속도를 가속화하였다.