[논문 리뷰] A Fog Robotics Approach to Deep Robot Learning: Application to Object Recognition and Grasp Planning in Surface Decluttering

Ajay Kumar Tanwani, Nitesh Mor외 3명|arXiv (Cornell University)|2019. 03. 22.

Robotics and Automated Systems참고 문헌 55인용 수 7

한 줄 요약

이 논문은 클라우드와 엣지 간에 딥러닝 워크로드를 분산시켜 로봇 인식의 지연 시간, 프라이버시, 시뮬레이션에서 실제 환경으로의 전이 성능을 향상시키는 퍼그 로봇 프레임워크를 제안한다. 클라우드에서 공개된 합성 데이터를 기반으로 학습하고 엣지에서 실세계 환경에 맞게 모델를 적응시킴으로써, 추론 지연 시간을 4배 감소시키고 213회의 시도 중 86.85%의 抓지 성공률을 달성한다.

ABSTRACT

The growing demand of industrial, automotive and service robots presents a challenge to the centralized Cloud Robotics model in terms of privacy, security, latency, bandwidth, and reliability. In this paper, we present a `Fog Robotics' approach to deep robot learning that distributes compute, storage and networking resources between the Cloud and the Edge in a federated manner. Deep models are trained on non-private (public) synthetic images in the Cloud; the models are adapted to the private real images of the environment at the Edge within a trusted network and subsequently, deployed as a service for low-latency and secure inference/prediction for other robots in the network. We apply this approach to surface decluttering, where a mobile robot picks and sorts objects from a cluttered floor by learning a deep object recognition and a grasp planning model. Experiments suggest that Fog Robotics can improve performance by sim-to-real domain adaptation in comparison to exclusively using Cloud or Edge resources, while reducing the inference cycle time by 4 imes to successfully declutter 86% of objects over 213 attempts.

연구 동기 및 목표

• 실시간 로봇 응용 프로그램에서 지연, 대역폭, 프라이버시, 신뢰성 측면에서 중심화된 클라우드 로봇 기술의 한계를 해결한다.
• 엣지에서 도메인 불변 모델 적응을 통해 로봇 학습에서의 시뮬레이션-실세계 도메인 이탈 문제를 극복한다.
• 구조가 불규칙한 환경(예: 집, 워크숍 등)에서 운영되는 이동형 로봇의 추론 지연 시간을 줄이고 신뢰성을 향상시킨다.
• 민감한 실세계 데이터가 신뢰할 수 있는 국지 네트워크 내부에 머무르는 동안도 공개된 합성 데이터를 활용해 훈련하는 보안적인 프라이빗 페더레이티드 학습 파이프라인을 구현한다.
• 이동형 로봇 플랫폼을 사용해 표면 정리 작업에서 객체 인식 및 그립 기획을 위한 효율적이고 저지연의 딥 모델을 배포할 수 있도록 한다.

제안 방법

• 개인 정보 보호 문제를 피하기 위해 클라우드에서 공개된 합성 이미지를 기반으로 객체 인식 및 그립 기획을 위한 딥 네ural 네트워크를 훈련시킨다.
• 신뢰할 수 있는 국지 네트워크 내에서 엣지에서 수집한 비공개 실세계 이미지를 사용해 사전 훈련된 모델을 실세계 환경에 맞게 적응시킨다.
• GPU를 지원하는 엣지 장치에 적응된 모델을 배포하여 실시간 의사결정을 위한 100ms 이내의 저지연 추론을 가능하게 한다.
• 클라우드가 대규모 사전 훈련을 담당하고 엣지가 국소적 적응 및 추론을 수행하는, 페더레이티드 유사 아키텍처를 사용한다.
• 무선 통신을 활용해 로봇과 엣지/클라우드 간의 통신을 최적화하며, 모델 가중치와 예측 결과 외의 데이터 전송을 최소화해 순환 시간(RTT)을 줄인다.
• 일반화 성능을 향상시켜 시뮬레이션에서 실세계 시나리오로의 전이를 개선하기 위해 도메인 랜덤라이제이션 및 도메인 불변 표현 학습 기법을 적용한다.

실험 결과

연구 질문

• RQ1 데이터 프라이버시를 유지하면서도 시뮬레이션에서 실세계 로봇 응용 프로그램으로 딥러닝 모델을 효과적으로 전이할 수 있는 방법은 무엇인가?
• RQ2 로봇 응용 프로그램에서 추론을 엣지에서 수행하는 것과 클라우드에서 수행하는 것의 차이가 지연 시간, 신뢰성, 시간 변동성에 미치는 영향은 무엇인가?
• RQ3 클라우드-엣지 하이브리드 아키텍처는 독립적인 클라우드 또는 엣지 배포 대비 표면 정리 작업에서 추론 지연 시간을 줄이고 성능을 향상시킬 수 있는가?
• RQ4 엣지에서의 도메인 적응이 객체 인식 및 그립 기획의 시뮬레이션-실세계 일반화 성능을 얼마나 향상시키는가?
• RQ5 무선 네트워크 환경에서 로봇과 원격 서버 간의 통신 오버헤드가 종합적인 시스템 성능에 미치는 영향은 어떠한가?

주요 결과

• 엣지에 추론 서비스를 구현함으로써 EC2 클라우드(동부) 대비 순환 시간(RTT)을 4배 감소시켰으며, 객체 인식의 RTT는 437.63ms에서 119.40ms로 감소했다.
• 그립 기획 모델은 213회의 시도 중 86.85%의 정확도를 기록했으며, 185개의 물체를 모두 성공적으로 정리했고, 수직 그립 기반 기준(76.19% 정확도)을 크게 뛰어넘었다.
• 엣지에서 도메인 적응을 마친 후 실세계 이미지에서의 객체 인식 정확도는 90.14%였으며, 효과적인 시뮬레이션-실세계 전이 성능을 입증했다.
• 통신 시간이 전체 추론 비용의 주요 원인이었으며, 서버와의 거리가 멀어질수록 특히 클라우드의 경우 RTT가 크게 증가했다(서부: 181.61ms, 동부: 437.63ms).
• GPU를 탑재한 엣지 장치에서 그립 기획의 추론 시간은 1753.65ms(inf)로 단축되었고, RTT는 1873.16ms로 줄어들었으며, CPU 기반 엣지 및 원격 클라우드 인스턴스보다 뛰어난 성능을 보였다.
• 엣지에 모델을 구현함으로써 저지연 추론(100ms 이내)을 달성하여, 다이나믹한 환경에서 이동형 로봇의 실시간 의사결정을 가능하게 했다.