[논문 리뷰] A Fog Robotic System for Dynamic Visual Servoing

Nan Tian, Jinfa Chen외 5명|arXiv (Cornell University)|2018. 09. 16.

Modular Robots and Swarm Intelligence참고 문헌 17인용 수 3

한 줄 요약

이 논문은 네트워크 지연과 변동성으로 인한 클라우드 기반 원격 제어의 도전 과제를 해결하기 위해 클라우드 기반 시각 인식과 엣지 기반 실시간 제어를 융합한 흐린 로봇 시스템(Fog Robotic system)을 제안한다. 비동기식 '하트비트' 프로토콜과 클라우드에 구현된 AprilTag 기반 영상 기반 시각 서보(IBVS)를 통해, 비정형 환경에서 인간으로부터 상자를 자동으로 집는 데 있어 100% 성공률를 달성하였으며, 속도와 신뢰성 면에서 클라우드 원격 제어를 능가한다.

ABSTRACT

Cloud Robotics is a paradigm where distributed robots are connected to cloud services via networks to access unlimited computation power, at the cost of network communication. However, due to limitations such as network latency and variability, it is difficult to control dynamic, human compliant service robots directly from the cloud. In this work, by leveraging asynchronous protocol with a heartbeat signal, we combine cloud robotics with a smart edge device to build a Fog Robotic system. We use the system to enable robust teleoperation of a dynamic self-balancing robot from the cloud. We first use the system to pick up boxes from static locations, a task commonly performed in warehouse logistics. To make cloud teleoperation more efficient, we deploy image based visual servoing (IBVS) to perform box pickups automatically. Visual feedbacks, including apriltag recognition and tracking, are performed in the cloud to emulate a Fog Robotic object recognition system for IBVS. We demonstrate the feasibility of real-time dynamic automation system using this cloud-edge hybrid, which opens up possibilities of deploying dynamic robotic control with deep-learning recognition systems in Fog Robotics. Finally, we show that Fog Robotics enables the self-balancing service robot to pick up a box automatically from a person under unstructured environments.

연구 동기 및 목표

• 네트워크 지연과 변동성으로 인해 클라우드 기반 원격 제어가 어려운 동적이고 인간과 협력하는 서비스 로봇을 제어하는 데 도전 과제를 해결하기 위해.
• 고수준 지능(클라우드)과 실시간 반응성(엣지)을 균형 있게 조화시키는 하이브리드 클라우드-엣지 아키텍처를 개발하기 위해.
• 다시 校정이 필요 없이도 비정형 환경에서도 안정적으로 상자를 집는 시각 피드백을 통한 자동화된 신뢰성 있는 상자 집기 기능을 구현하기 위해.
• 로봇이 움직이는 인간 운반자로부터 자동으로 상자를 집는 동적 인간-로봇 상호작용을 구현하기 위해.

제안 방법

• 네트워크 지연과 변동성의 영향을 줄이기 위해 클라우드와 엣지 간에 비동기식 '하트비트' 통신 프로토콜을 구현하기 위해.
• 클라우드에서 AprilTag 인식과 추적을 구현하여 영상 기반 시각 서보(IBVS)를 통해 흐린 로봇 시스템의 물체 인식 기능을 모방하기 위해.
• 카메라 校정이 필요 없이도 목표 상자로의 로봇 동작 제어를 위해 2차원 영상 기반 시각 서보(IBVS)를 사용하기 위해.
• 자기 균형을 유지하고 이중 암을 갖춘 로봇(Igor)과 시스템을 통합하여 조작 중 동적 균형과 유연성 유지 기능을 확보하기 위해.
• 클라우드가 영상 데이터를 처리하고 하트비트 신호를 통해 저대역폭 명령을 엣지 제어기로 전송하는 제어 루프를 설계하기 위해.
• AprilTag 감지 시 자동 모드 전환을 가능하게 하여 로봇이 인간 운반자로부터 자동으로 추적하고 상자를 집을 수 있도록 하기 위해.

실험 결과

연구 질문

• RQ1 비동기식 클라우드-엣지 통신을 갖춘 흐린 로봇 시스템이 네트워크 지연과 변동성에도 불구하고 동적이고 자기 균형을 유지하는 로봇의 강력한 원격 제어를 가능하게 하는가?
• RQ2 클라우드 기반 AprilTag 인식과 엣지 기반 IBVS의 조합이 비정형 환경에서 자동 상자 집기 작업에 얼마나 효과적인가?
• RQ3 시각 서보 기술이 동적 로봇 조작 작업에서 반복적인 카메라 校정이 필요 없도록 하는 데까지 어느 정도 기여하는가?
• RQ4 로봇이 움직이는 인간 운반자로부터 따라가고 상자를 집는 지속적인 인간-로봇 상호작용을 지원할 수 있는가?
• RQ5 속도와 성공률 측면에서 현지 원격 제어, 클라우드 원격 제어, 자동 시각 서보 간의 성능 상충 관계는 어떠한가?

주요 결과

• 흐린 로봇 시스템은 인간 운반자로부터 상자를 자동으로 집는 데 있어 100% 성공률를 달성하였으며, 클라우드 원격 제어의 경우 시도의 40%에 그치는 것으로 나타나 뚜렷한 성능 향상을 보였다.
• 자동 집기 평균 소요 시간은 46초로, 현지 원격 제어(43초)와 유사했으며, 클라우드 원격 제어는 평균 340초가 소요되었다.
• 로봇과 AprilTag 간 거리가 최대 6미터까지도 안정적인 추적과 동작 제어를 유지하며 신뢰성 있는 운영을 보였다.
• 비동기 하트비트 프로토콜 덕분에 네트워크 변동성에도 불구하고 강력한 제어가 가능했지만, 프로토콜 창 크기로 인해 마지막 명령 후 약 250ms 지연이 관측되었다.
• IBVS 모듈 덕분에 각 작업마다 카메라 校정이 필요 없었으며, 동적 환경에서의 신속한 구현이 가능했다.
• 로봇은 유연한 서보를 통해 동적 장애물을 효과적으로 처리하고 균형을 유지했으며, 인간 운전자가 혼잡한 경로를 따라 안내하는 데에도 성공했다.