[논문 리뷰] Automatic Mapping with Obstacle Identification for Indoor Human Mobility Assessment

V. Ayala-Alfaro, J. A. Vilchis-Mar외 2명|arXiv (Cornell University)|2021. 11. 24.

Robotics and Sensor-Based Localization참고 문헌 6인용 수 4

한 줄 요약

이 논문은 단안 SLAM과 YOLO 기반 객체 검출 프레임워크를 제안하여 마이크로-UAV가 실내 환경을 자율적으로 맵핑하면서 가구와 같은 이동 장애물도 식별하고 국소화할 수 있도록 한다. ORB-SLAM2를 관성 데이터와 융합하고 검출된 경계 상자들을 정제함으로써, 시스템은 접근성 장애를 강조하는 메트릭 3차원 맵을 생성하며, 테스트에서 Tello와 Bebop 2 드론을 사용할 경우 거짓 경고를 98% 감소시킨다.

ABSTRACT

We propose a framework that allows a mobile robot to build a map of an indoor scenario, identifying and highlighting objects that may be considered a hindrance to people with limited mobility. The map is built by combining recent developments in monocular SLAM with information from inertial sensors of the robot platform, resulting in a metric point cloud that can be further processed to obtain a mesh. The images from the monocular camera are simultaneously analyzed with an object recognition neural network, tuned to detect a particular class of targets. This information is then processed and incorporated on the metric map, resulting in a detailed survey of the locations and bounding volumes of the objects of interest. The result can be used to inform policy makers and users with limited mobility of the hazards present in a particular indoor location. Our initial tests were performed using a micro-UAV and will be extended to other robotic platforms.

연구 동기 및 목표

• 로봇 센서를 활용하여 이동 장애가 있는 사람들을 위한 실내 접근성 평가를 자동화한다.
• 물리적 장애물을 실내 공공 공간에서 검출하고 국소화하기 위한 저비용이고 확장 가능한 솔루션을 개발한다.
• 단안 시각과 관성 센서만을 사용하여 이동성 장애를 강조하는 메트릭 3차원 맵을 생성한다.
• 다단계 정제를 통해 거짓 객체 검출을 줄임으로써 접근성 평가를 향상시킨다.
• 정책 입안자와 설계자들이 포괄적인 공공 공간 계획을 위한 데이터 기반 통찰을 확보할 수 있도록 지원한다.

제안 방법

• 시스템은 단안 카메라와 자이로스코프를 장착한 마이크로-UAV를 사용하여 실시간 영상과 오도메트리 데이터를 수집한다.
• ORB-SLAM2는 관성 측정을 통합함으로써 단안 영상에서 척도 인식 가능한 메트릭 포인트 클라우드를 생성하도록 수정된다.
• YOLOv3는 가구, 장치 등 16개의 장애물 관련 클래스를 검출하도록 최적화되어 있으며, 각 프레임에서 2차원 경계 상자를 출력한다.
• 다단계 정제 파이프라인은 검출된 경계 상자를 처리한다: (1) 오류 검출 제거, (2) 프레임 간 유사 객체 통합, (3) 잘못 분류된 객체 필터링.
• 최종 출력은 레이블이 부여된 장애물 위치와 경계 상자를 포함한 3차원 접근성 맵이며, 실시간으로 시각화된다.
• 프레임워크는 두 대의 드론(Tello 및 Bebop 2)을 사용하여 검증되었으며, 후처리를 통해 검출 결과를 정렬하고 중복 검출를 줄였다.

실험 결과

연구 질문

• RQ1 단안 카메라와 관성 센서가 접근성 분석에 적합한 실내 환경의 메트릭 3차원 맵을 생성할 수 있는가?
• RQ2 YOLO 기반 객체 검출이 이동성 관련 장애물을 이동 중인 UAV 플랫폼에서 실시간으로 식별할 수 있는 정도는 어느 정도인가?
• RQ3 다단계 정제 과정은 동일한 객체의 반복 검출를 줄이고 거짓 경고를 얼마나 효과적으로 감소시키는가?
• RQ4 하드웨어 품질(예: 영상 안정성, 해상도)은 장애물 검출 및 맵 생성 정확도에 어떤 영향을 미치는가?
• RQ5 이 시스템은 실생활 실내 환경에서 자동 접근성 평가를 신뢰성 있게 지원할 수 있는가?

주요 결과

• Tello 드론 테스트에서 전체 정제 후 검출된 객체 수가 1,937개에서 26개로 감소하여 거짓 또는 중복 검출이 98.6% 감소함을 나타낸다.
• Bebop 2 드론은 더 안정적인 영상을 제공하여 초기 검출 수(1,354개)가 적고 Tello보다 더 나은 통합 성능을 보였다.
• 2단계(객체 통합)가 객체 수 감소에 가장 기여하였으며, Tello에서는 34개에서 26개로, Bebop 2에서는 28개에서 16개로 감소하였다.
• 정제 파이프라인은 노이즈와 잘못 분류된 객체를 성공적으로 줄였으며, 3단계에서 잔여 오류 검출을 제거하였다.
• 하드웨어 제약에도 불구하고, 여러 비행에서 일관된 접근성 맵을 생성하였으며, Bebop 2 플랫폼을 사용할 경우 시각적 일관성이 향상되었다.
• 결과적으로 향상된 객체 검출 모델은 실생활 배포에 있어 맵 정확도와 신뢰도를 더욱 향상시킬 수 있음을 시사한다.