[논문 리뷰] A Framework for Visually Realistic Multi-robot Simulation in Natural Environment

Ori Ganoni, Ramakrishnan Mukundan|arXiv (Cornell University)|2017. 08. 06.

Robotics and Sensor-Based Localization인용 수 11

한 줄 요약

이 논문은 복잡한 자연 환경에서 포토리얼리틱한 광학 및 깊이 센서 데이터를 생성하기 위해 Unreal Engine 4(UE4)를 사용하는 시각적으로 현실적인 다중 드론 시뮬레이션 프레임워크를 제시한다. 바람과 변동하는 조도와 같은 동적 조건 하에서도 컴퓨터 비전 알고리즘의 테스트를 가능하게 하며, 현실적인 환경 열화 효과를 반영한 가시막대림 환경에서도 효과적인 드론 추적을 입증한다.

ABSTRACT

This paper presents a generalized framework for the simulation of multiple robots and drones in highly realistic models of natural environments. The proposed simulation architecture uses the Unreal Engine4 for generating both optical and depth sensor outputs from any position and orientation within the environment and provides several key domain specific simulation capabilities. Various components and functionalities of the system have been discussed in detail. The simulation engine also allows users to test and validate a wide range of computer vision algorithms involving different drone configurations under many types of environmental effects such as wind gusts. The paper demonstrates the effectiveness of the system by giving experimental results for a test scenario where one drone tracks the simulated motion of another in a complex natural environment.

연구 동기 및 목표

• 복잡한 자연 환경에서 다중 로봇 및 다중 드론 시스템을 위한 확장 가능하고 시각적으로 현실적인 시뮬레이션 프레임워크를 개발하기 위해.
• 바람, 동적 조도, 식생 운동과 같은 고정밀 환경 효과를 드론 시뮬레이션에 통합하여 현실적인 컴퓨터 비전 테스트를 가능하게 하기 위해.
• 게임 엔진에서 실시간 센서 출력과 함께 실제 지표 데이터를 제공하는 시스템을 통해 비전 기반 추적 및 항법 알고리즘의 정확한 평가를 가능하게 하기 위해.
• UE4의 고급 렌더링 및 물리 기능을 활용하여 시뮬레이션의 현실성과 실용적 로봇 연구 간 격차를 메우기 위해.
• 실제 드론 펌웨어(예: ArduPilot, PX4)를 지원하는 독립형 SITL 호환 시뮬레이션 환경을 제공하여 종단 간 테스트를 가능하게 하기 위해.

제안 방법

• 프레임워크는 드론의 위치와 자세에 기반하여 사진처럼 현실적인 시각 및 깊이 센서 출력을 렌더링하기 위해 Unreal Engine 4를 핵심 시뮬레이션 엔진으로 사용한다.
• ArduPilot 및 PX4 드론 펌웨어의 소프트웨어 인 더 루프(SITL) 실행을 통합하여 실시간 제어 및 센서 시뮬레이션을 가능하게 한다.
• UE4 내부에서 바람 구름과 동적 조도와 같은 환경 효과를 시뮬레이션하여 드론 동역학과 시각 센서 데이터에 영향을 미친다.
• 나무, 잔디, 식생과 같은 현실적인 자연 특징을 지원하여 시야를 차단하고 다양한 조건에서 시각적 특성에 영향을 미친다.
• 장면 재생 및 시뮬레이션 중 GPU 및 CPU 사용률을 모니터링하기 위해 nvidia-smi와 Python psutil를 사용하여 고유의 프로파일링 도구를 개발했다.
• 다중 로봇 상호작용을 지원하는 시뮬레이션 아키텍처를 구현하였으며, 숲 환경에서 색상 기반 HSV 추적기를 사용하여 한 드론이 다른 드론을 추적하는 것을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 게임 엔진 기반 시뮬레이션 프레임워크는 자연 환경에서 다중 드론 시스템에 대해 시각적으로 현실적이며 물리적으로 타당한 센서 출력을 생성할 수 있는가?
• RQ2 바람과 수관 그림자와 같은 환경 요소가 시뮬레이션에서 비전 기반 추적 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ3 UE4 기반 시뮬레이션 환경은 실제 세계의 시각 열화 및 동적 교란을 드론 추적 작업에서 어느 정도 정확하게 재현할 수 있는가?
• RQ4 프레임워크는 고정밀 시각 및 깊이 센서 출력을 유지하면서 실제 드론 펌웨어의 SITL 실행을 지원할 수 있는가?
• RQ5 GPU 집약적인 카메라 움직임과 복잡한 장면 렌더링 상황에서 시스템의 성능은 어떻게 스케일링되는가?

주요 결과

• 프레임워크는 숲과 같은 동적 식생이 있는 복잡한 자연 환경 내에서 드론의 위치와 자세에 관계없이 포토리얼리틱한 광학 및 깊이 센서 출력을 성공적으로 생성하였다.
• 수관 그림자로 인해 색상과 밝기 성분이 추적기의 임계값을 초과하여 드론이 숲 지역에 진입할 경우 추적 성능이 크게 떨어졌다.
• 바람 시뮬레이션으로 인해 이륙 및 착륙 시 고주기 조작과 변화하는 시야 각도로 인해 추정된 드론 중심 위치의 진동이 증가하였다.
• 카메라 집약적인 움직임 동안 GPU 사용률이 100%에 도달하여 프레임 레이트에 영향을 미치고, 이미지 처리 빈도가 감소함에 따라 CPU 부하가 감소하였다.
• 일관된 환경 조건 하에서는 결과의 재현성을 입증하였고, 바람 존재 여부와 같은 다른 조건에서는 변동성을 보이며 제어된 실험에 적합함을 입증하였다.
• 시뮬레이션 프레임워크는 다양한 현실적인 환경 효과 하에서 비전 알고리즘 평가를 위한 신뢰할 수 있는 지표 데이터 생성을 가능하게 하였다.