[논문 리뷰] Stronger Together: Air-Ground Robotic Collaboration Using Semantics

Ian D. Miller, Fernando Cladera외 3명|arXiv (Cornell University)|2022. 06. 28.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 고고도 헬리코프터가 실시간 의미 맵을 생성하고 지상 로봇이 이를 활용해 국소화, 글로벌 계획 수립 및 목표 선택을 수행하는 분산형, GPS 불가능 환경의 공중-지상 로봇 시스템을 제시한다. 이 시스템은 최소한의 간섭으로도 자율적이고 협업 가능한 임무를 수행하며, 실세계에서 6km 이상, 시뮬레이션에서는 96km 이상의 주행을 달성하였다. 의미 기반의 크로스 뷰 국소화와 기회적 통신을 활용하였다.

ABSTRACT

In this work, we present an end-to-end heterogeneous multi-robot system framework where ground robots are able to localize, plan, and navigate in a semantic map created in real time by a high-altitude quadrotor. The ground robots choose and deconflict their targets independently, without any external intervention. Moreover, they perform cross-view localization by matching their local maps with the overhead map using semantics. The communication backbone is opportunistic and distributed, allowing the entire system to operate with no external infrastructure aside from GPS for the quadrotor. We extensively tested our system by performing different missions on top of our framework over multiple experiments in different environments. Our ground robots travelled over 6 km autonomously with minimal intervention in the real world and over 96 km in simulation without interventions.

연구 동기 및 목표

• 최소한의 인프라로 실세계 환경에서 자율적이고 대규모의 공중-지상 로봇 팀을 운영할 수 있도록 한다.
• 복잡하고 동적인 환경에서 GPS 없이 지상 로봇의 국소화 및 주행 문제를 해결한다.
• 의미 정보를 활용해 크로스 뷰 국소화와 협업 계획 수립이 가능한 분산형이고 확장 가능한 프레임워크를 개발한다.
• 최대 10대의 지상 로봇을 동원한 실세계 및 시뮬레이션 임무에서의 내구성과 확장성을 입증한다.
• 지속적인 조율 없이도 이종 센서(항공 및 지상)와 간헐적인 통신을 통합한다.

제안 방법

• 딥 러닝을 활용해 의미 분할 및 정규화를 수행하는 Aerial Semantic Online Ortho-Mapping(ASOOM)을 통해 고고도 헬리코프터가 실시간 의미 맵을 생성한다.
• 지상 로봇에 의미 국소화 장치를 탑재하여 현장에서의 관측치를 상부 의미 맵과 매칭함으로써 GPS 없이 국소화를 수행한다.
• 지속적인 연결 없이도 지상 로봇 간 목표 및 맵 업데이트를 공유할 수 있는 분산형 기회적 통신 프rotocol를 구현한다.
• 지상 로봇이 상부 의미 맵의 의미 정보를 기반으로 독립적으로 목표를 선정하고 충돌을 회피함으로써 협업 계획 수립을 지원한다.
• 자동차, 건물 등 세포 단위의 의미 객체 클래스를 플랫폼 간 공통 표현으로 사용하여 시점 불변 융합과 인간이 이해할 수 있는 맥락을 가능하게 한다.
• 분산 데이터베이스와 의미 국소화 장치를 통합하여, 초기 추정치가 최대 16m 정도 어긋나더라도 최종적으로 3m 이내의 자세 오차로 수렴하도록 한다.

실험 결과

연구 질문

• RQ1 이종 공중-지상 로봇 팀이 의미 맵과 기회적 통신만을 사용해 GPS 불가능 환경에서 자율적으로 작동할 수 있는가?
• RQ2 다른 시점에서 촬영한 항공 맵의 의미 특징을 활용해 지상 로봇이 얼마나 효과적으로 국소화할 수 있는가?
• RQ3 의미 기반 협업이 대규모 실세계 환경에서 임무 효율성과 확장성에 얼마나 기여하는가?
• RQ4 분산형, 분산 로봇 시스템에서 통신 범위와 간헐성은 팀 성능에 어떤 영향을 미치는가?
• RQ5 지상 로봇 수가 증가함에 따라 시스템은 어떻게 확장되며, 임무 완료 시간에 대한 성능 향상의 감소 추세는 어떻게 나타나는가?

주요 결과

• 의미 국소화 장치를 통해 평균 자세 오차가 수렴 후 3m 이내로 감소하였고, 노이즈가 많은 온도미터만 사용할 경우 24m 이상이었다.
• 실세계 실험에서 지상 로봇은 최소한의 인간 간섭으로 6km 이상 자율 주행을 달성하였으며, GPS 불가능 조건에서도 뛰어난 내구성을 입증하였다.
• 시뮬레이션에서는 1~10대의 지상 로봇을 동원해 총 26회의 임무를 수행하였고, 총 주행 거리는 96km 이상이었으며, 수동 간섭 없이 완료되었다.
• 26회의 시뮬레이션 실험 중 25회에서 13개의 목표가 모두 성공적으로 방문되었으며, 실패한 한 번은 국소화 오류로 인한 가짜 방문이 원인이었다.
• 지상 로봇 수가 증가함에 따라 임무 시간이 단축되었지만, 성능 향상의 감소 추세가 나타나 성능 포화점이 존재함을 시사하였다.
• 짧은 통신 범위는 때로 효율성을 향상시켰는데, 이는 목표에 가까운 로봇이 먼저 행동하도록 유도했기 때문이다. 이는 통신 범위가 엄격한 제한 요소는 아니라는 것을 시사한다.