[논문 리뷰] Building an Integrated Mobile Robotic System for Real-Time Applications in Construction

Khashayar Asadi, Hariharan Ramshankar외 8명|arXiv (Cornell University)|2018. 03. 05.

Robotics and Sensor-Based Localization참고 문헌 10인용 수 9

한 줄 요약

이 논문은 단일 렌즈 SLAM과 실시간 맥락 인식 장면 이해를 결합한 통합 모바일 로봇 시스템을 제안한다. 다양한 실외 환경에서 장애물과 통행 가능한 영역을 맵핑하는 데 near real-time 성능을 달성하며, 인간 간섭 없이도 강건하고 자율적인 운영을 가능하게 한다. 이는 다수의 NVIDIA Jetson TX1 보드를 사용하여 달성된다.

ABSTRACT

One of the major challenges of a real-time autonomous robotic system for construction monitoring is to simultaneously localize, map, and navigate over the lifetime of the robot, with little or no human intervention. Past research on Simultaneous Localization and Mapping (SLAM) and context-awareness are two active research areas in the computer vision and robotics communities. The studies that integrate both in real-time into a single modular framework for construction monitoring still need further investigation. A monocular vision system and real-time scene understanding are computationally heavy and the major state-of-the-art algorithms are tested on high-end desktops and/or servers with a high CPU- and/or GPU- computing capabilities, which affect their mobility and deployment for real-world applications. To address these challenges and achieve automation, this paper proposes an integrated robotic computer vision system, which generates a real-world spatial map of the obstacles and traversable space present in the environment in near real-time. This is done by integrating contextual Awareness and visual SLAM into a ground robotics agent. This paper presents the hardware utilization and performance of the aforementioned system for three different outdoor environments, which represent the applicability of this pipeline to diverse outdoor scenes in near real-time. The entire system is also self-contained and does not require user input, which demonstrates the potential of this computer vision system for autonomous navigation.

연구 동기 및 목표

• 최소한의 인간 간섭으로 자율적인 건설 현장 모니터링을 위한 자가 포함형 실시간 모바일 로봇 시스템을 개발하는 것.
• 공간 맵핑을 위한 단일 모듈식 프레임워크에 단일 렌즈 SLAM과 장면 이해(세분화)를 통합하는 것.
• 저전력 임베디드 하드웨어를 사용해 실시간 국소화, 맵핑 및 장애물 탐지 기능을 제공하는 것.
• 다양한 조명 조건과 물체 조건을 가진 다양한 실외 건설 환경에서 시스템의 강건성과 성능을 검증하는 것.
• 동적 건설 환경에서 자율 주행을 위한 고급 컴퓨터 비전 파이프라인을 임베디드 플랫폼에 구현할 수 있는지의 타당성을 입증하는 것.

제안 방법

• 시스템은 SLAM, 맥락 인식, 제어, 맵핑 모듈의 계산 부담을 분산시키기 위해 다수의 NVIDIA Jetson TX1 보드를 사용한다.
• ORB-SLAM은 단일 렌즈 시각적 오도메트리와 특징 기반 맵핑을 위해 사용되며, 실시간 추적과 비척도 3D 재구성 기능을 제공한다.
• GPU에서 실행되는 ENet 신경망을 이용한 세분화 파이프라인을 통해 실시간으로 장애물과 통행 가능한 영역을 식별한다.
• SLAM 모듈은 추적 상태(예: '추적 잃음')를 게시하여 맥락 인식 및 제어 모듈과의 조율을 가능하게 한다.
• 분할된 이미지와 오도메트리 데이터를 사용해 점진적으로 업데이트되는 전역 점유 격자 맵이 생성되며, ROS RVIZ를 통해 시각화된다.
• 시스템은 1 Hz 파이프라인 속도로 작동하며, 실제 실외 환경의 영상 시퀀스를 처리해 공간 맵을 생성한다.

실험 결과

연구 질문

• RQ1 단일 렌즈 시스템이 동적 실외 건설 환경에서 실시간으로 자가 포함형 국소화 및 맵핑을 달성할 수 있는가?
• RQ2 맥락 인식 세분화가 실시간으로 SLAM과 통합되어 장애물과 통행 가능한 영역 탐지에 얼마나 효과적으로 활용될 수 있는가?
• RQ3 SLAM, 세분화, 맵핑을 동시에 실행할 경우 임베디드 하드웨어에서 계산 부담이 어떻게 분포되는가?
• RQ4 다양한 조명 조건과 물체 유형을 가진 다양한 실외 환경에서 시스템이 강건성과 성능을 유지하는 방식은 무엇인가?
• RQ5 이 모듈식 프레임워크가 더 큰 규모의 환경이나 더 복잡한 주행 작업에 어떻게 확장될 수 있는가?

주요 결과

• 시스템은 세 가지의 서로 다른 실외 건설 환경에서 장애물과 통행 가능한 영역의 실시간 2D 공간 맵을 성공적으로 생성하였다.
• ORB-SLAM은 Jetson TX1에서 실시간 성능을 달성했으며, 평균 CPU 사용률은 186%로(단일 코어 기준 약 46.5%) 임베디드 하드웨어에서의 구현 가능성을 입증하였다.
• 맥락 인식 모듈은 ENet를 사용한 세분화로 인해 GPU 사용률이 급격히 증가(최대 100%)하여 높은 계산 부담을 확인하였다.
• 모든 테스트 환경에서 일관된 1 Hz 파이프라인 속도로 작동하였으며, 영상 당 평균 570~909 프레임(지속 시간 9.5~15.15분)을 처리하였다.
• 맵핑 및 제어 모듈의 계산 부담은 미미하여, 단일 Jetson 보드에서 다수의 모듈을 동시에 실행할 수 있음을 시사하였다.
• 시스템은 사용자 입력 없이 자율적으로 작동하였으며, 추적 상태 피드백을 통해 추적을 상실한 경우 경로 재현이 가능하였다.