[논문 리뷰] Agile Reactive Navigation for A Non-Holonomic Mobile Robot Using A Pixel Processor Array

Yanan Liu, Laurie Bose외 7명|arXiv (Cornell University)|2020. 09. 27.

Robotics and Sensor-Based Localization참고 문헌 21인용 수 4

한 줄 요약

이 논문은 비홀로노믹 이동 로봇을 위한 민첩한 반응형 주행 시스템을 제안한다. 픽셀 프로세서 어레이(PPA)를 사용해 센서에서 직접 실시간 영상 처리를 수행함으로써, 최대 3.88 m/s의 고속 주행이 가능해지며, 게이트 통과를 구현한다. SCAMP-5 칩에서 2000 fps 이상의 속도로 목표 패턴과 같은 시각적 특징을 직접 처리함으로써, 기존의 영상 전송 병목 현상을 피하고 최소한의 계산 부담으로 실시간 제어를 달성한다.

ABSTRACT

This paper presents an agile reactive navigation strategy for driving a non-holonomic ground vehicle around a preset course of gates in a cluttered environment using a low-cost processor array sensor. This enables machine vision tasks to be performed directly upon the sensor's image plane, rather than using a separate general-purpose computer. We demonstrate a small ground vehicle running through or avoiding multiple gates at high speed using minimal computational resources. To achieve this, target tracking algorithms are developed for the Pixel Processing Array and captured images are then processed directly on the vision sensor acquiring target information for controlling the ground vehicle. The algorithm can run at up to 2000 fps outdoors and 200fps at indoor illumination levels. Conducting image processing at the sensor level avoids the bottleneck of image transfer encountered in conventional sensors. The real-time performance of on-board image processing and robustness is validated through experiments. Experimental results demonstrate that the algorithm's ability to enable a ground vehicle to navigate at an average speed of 2.20 m/s for passing through multiple gates and 3.88 m/s for a 'slalom' task in an environment featuring significant visual clutter.

연구 동기 및 목표

• 저비용·저전력 비전 처리를 사용해 혼잡한 환경에서 비홀로노믹 이동 로봇의 고속·반응형 주행을 가능하게 한다.
• 외부 센서에서의 영상 전송과 일반 목적 컴퓨팅에 의존하는 전통적 비전 파이프라인의 지연과 전력 비효율성을 해결한다.
• 센서에서 추출한 시각적 특징을 로봇 액추에이터에 직접 연결하는 제어 루프를 개발하여 좌표 변환 오버헤드를 제거한다.
• 센서 내 영상 처리 및 필터링을 활용해 운동 외란과 변동하는 조도 조건 하에서도 안정적인 성능을 확보한다.
• 최소한의 계산 자원으로도 복잡한 작업, 예를 들어 게이트 통과 및 슬라롬 주행에서 실시간 민첩성을 입증한다.

제안 방법

• 영상 평면에서 직접 병렬 계산이 가능한 SCAMP-5 픽셀 프로세서 어레이(PPA)를 사용해 센서 내 영상 처리를 수행한다.
• 반복 플러드 및 이웃 기반 필터링 알고리즘을 PPA에 구현하여 목표 특징(예: 원형 디스크)을 추출하고 노이즈를 제거한다.
• 목표 점 네 개의 중심 좌표를 PPA에서 직접 추출하여 좌표계 변환의 필요성을 제거한다.
• 전체 영상 대신 처리된 특징 좌표만 라즈베리 파이로 전송하여 PID 기반의 조향 및 속도 제어를 수행한다.
• 슬라롬 주행을 안내하기 위해 전방향 지시(좌회전/우회전)를 인코딩한 시각 패턴을 설계하고, 이를 PPA에서 직접 해석한다.
• PPA의 병렬 처리 능력과 데이터 이동 최소화를 통해 외부 조도 조건에서 최대 2000 fps, 실내에서는 200 fps의 높은 프레임 속도를 달성한다.

실험 결과

연구 질문

• RQ1 픽셀 프로세서 어레이를 이용한 센서 내 영상 처리가 혼잡한 환경에서 비홀로노믹 로봇의 실시간·민첩한 반응형 주행을 가능하게 하는가?
• RQ2 전통적 비전 파이프라인과 비교해 영상 전송 병목 현상을 제거함으로써 반응 시간과 주행 속도가 얼마나 향상되는가?
• RQ3 센서 내 시각적 특징 좌표를 로봇 제어 명령어에 직접 매핑함으로써 계산 오버헤드를 줄이고 민첩성을 향상시키는 데 얼마나 효과적인가?
• RQ4 최소한의 외부 계산 자원과 센서 내 처리만을 사용하는 반응형 시스템에서 도달 가능한 최대 주행 속도는 얼마인가?
• RQ5 고속 주행 중 운동 유도 진동과 변동하는 조도 조건 하에서도 시스템의 성능은 얼마나 견고한가?

주요 결과

• VICON 추적 기록에 따르면, 다수의 게이트 통과 동안 평균 주행 속도는 2.20 m/s이며, 최고 속도는 2.50 m/s에 도달했다.
• 고속 '슬라롬' 작업에서 로봇은 최고 속도 3.88 m/s에 도달했으며, 이는 전장 자동차 기준 139 km/h에 해당해 놀라운 민첩성을 보였다.
• 외부 조도 조건에서 SCAMP-5 PPA는 2000 fps 이상의 속도로 영상 처리를 수행하여 기존 파이프라인 대비 뚜렷한 지연 감소를 이뤘다.
• 전체 시스템 처리 지연은 약 472 μs였으며, 이 중 대부분(328 μs)은 좌표 추출 및 라즈베리 파이로의 전송에 소요되었다.
• 센서 내 특징 탐지와 로봇 제어 사이의 직접 연결로 인해 복잡한 좌표 변환 과정이 제거되어 신뢰성 향상과 계산 부담 감소를 달성했다.
• 운동 유도 진동과 시각적 혼잡 조건 하에서도 시스템은 고속 주행 중 정확한 주행을 유지하며 견고한 성능을 보였다.