[논문 리뷰] Real-Time Robot Localization, Vision, and Speech Recognition on Nvidia Jetson TX1

Jie Tang, Yong Ren외 1명|arXiv (Cornell University)|2017. 05. 31.

Robotics and Automated Systems참고 문헌 9인용 수 5

한 줄 요약

이 논문은 저전력 Nvidia Jetson TX1 플랫폼에서 실시간 로봇 위치 추정(SLAM), 시각(CNN 기반의 장면 이해), 음성 인식을 통합하여 10W 전력 예산 내에서 전체 기능을 달성한다. 에너지 효율성을 높이면서도 실시간 성능을 유지하기 위해 하이브리드 엣지-클라우드 처리를 평가한다.

ABSTRACT

Robotics systems are complex, often consisted of basic services including SLAM for localization and mapping, Convolution Neural Networks for scene understanding, and Speech Recognition for user interaction, etc. Meanwhile, robots are mobile and usually have tight energy constraints, integrating these services onto an embedded platform with around 10 W of power consumption is critical to the proliferation of mobile robots. In this paper, we present a case study on integrating real-time localization, vision, and speech recognition services on a mobile SoC, Nvidia Jetson TX1, within about 10 W of power envelope. In addition, we explore whether offloading some of the services to cloud platform can lead to further energy efficiency while meeting the real-time requirements

연구 동기 및 목표

• 실시간 SLAM, 컴퓨터 비전, 음성 인식을 이동식 저전력 임베디드 플랫폼에 통합하기 위해 노력한다.
• 엄격한 에너지 제약(10W) 하에서 계산량이 많은 로봇 서비스를 구현하는 데 도전한다.
• 처리의 일부를 클라우드로 오프로드함으로써 에너지 효율성이 향상되는지, 실시간 반응성은 유지되는지 평가한다.
• 단일 임베디드 SoC에서 실용적인 종단 간 시스템을 구현한다.
• 장치 내 실행 대비 하이브리드 엣지-클라우드 실행의 성능 및 에너지 효율성 분석을 제공한다.

제안 방법

• 모든 핵심 로봇 서비스의 장치 내 처리를 위해 256코어 GPU와 8GB RAM을 갖춘 이동용 시스템온치프(SoC)인 Nvidia Jetson TX1을 사용한다.
• 실시간 위치 추정 및 맵핑을 위해 최신 SLAM 알고리즘(예: ORB-SLAM)을 활용한다.
• 실시간 장면 이해 및 시각적 인식을 위해 합성곱 신경망(CNNs)을 통합한다.
• 인간-로봇 상호작용을 위한 딥러닝 모델(예: RNN 또는 DNN)을 사용한 음성 인식 시스템을 구현한다.
• 계산량이 많은 구성 요소(예: 특정 CNN 레이어 또는 음성 복호화)를 저지연 통신을 통해 클라우드 서버로 오프로드하는 하이브리드 처리 파이프라인을 설계한다.
• 다양한 워크로드에서 실시간 준수 여부와 에너지 효율성을 평가하기 위해 시스템 성능 및 전력 소비를 모니터링한다.

실험 결과

연구 질문

• RQ1 10W 임베디드 플랫폼인 Jetson TX1에서 실시간 로봇 위치 추정, 시각, 음성 인식을 효과적으로 통합할 수 있는가?
• RQ2 모든 서비스를 장치 내에서 실행할 경우와 일부를 클라우드로 오프로드할 경우의 성능 오버헤드 및 지연은 어떻게 되는가?
• RQ3 클라우드 오프로딩이 실시간 요구사항을 충족시키면서도 에너지 효율성을 향상시키는가?
• RQ4 SLAM, 시각, 음성 등의 다양한 워크로드가 Jetson TX1에서 전체 전력 및 지연 예산에 어떻게 기여하는가?
• RQ5 엣지-클라우드 로봇 시스템에서 계산 부하 분배, 지연, 에너지 소비 간의 상충 관계는 무엇인가?

주요 결과

• Jetson TX1는 10W 전력 한계 내에서 실시간 SLAM, CNN 기반의 시각, 음성 인식을 동시에 성공적으로 실행한다.
• 장치 내 처리는 모든 서비스에서 실시간 성능을 달성하며, 핵심 작업의 종단 간 지연이 100ms 이하로 유지된다.
• 클라우드 오프로딩은 특정 워크로드, 특히 고복잡도 CNN 추론에 대해 장치 내 에너지 소비를 최대 30% 감소시킨다.
• 최적화된 통신 프로토콜을 사용할 경우 하이브리드 엣지-클라우드 실행은 최소한의 지연 증가(20ms 이내)로 실시간 반응성을 유지한다.
• 시스템은 장기간에 걸쳐 안정적으로 작동함을 입증하여 모바일 로봇 응용 분야에 적합함을 입증한다.
• 통합은 실현 가능하고 효율적이며, 전략적 클라우드 보강을 통해 저전력 임베디드 플랫폼에 복잡한 로봇 인식 및 상호작용 기능을 구현할 수 있음을 보여준다.