[논문 리뷰] The Matter of Time -- A General and Efficient System for Precise Sensor Synchronization in Robotic Computing

Shaoshan Liu, Yu Bo외 6명|arXiv (Cornell University)|2021. 03. 30.

Robotics and Automated Systems참고 문헌 10인용 수 4

한 줄 요약

이 논문은 로봇 컴퓨팅을 위한 일반적이고 FPGA 기반의 하드웨어 동기화 시스템을 제안하며, SoC 인터페이스에서 센서 데이터에 타임스탬프를 부여하여 마이크로초 수준의 정밀도를 달성한다. 이는 소프트웨어에 의한 지연을 최소화한다. 시스템은 자동차 및 로봇에서 신뢰할 수 있는 내부 및 외부 기계 간 동기화를 보장하며, LiDAR의 경우 ±100 μs 이내의 높은 정확도를 확보하고 카메라/IMU의 경우 사이클 수준의 정밀도를 제공한다. 자원 소비는 낮아서(6.9K LUTs, 7.1KRegs) 임베디드 로봇 시스템에 적합하다.

ABSTRACT

Time synchronization is a critical task in robotic computing such as autonomous driving. In the past few years, as we developed advanced robotic applications, our synchronization system has evolved as well. In this paper, we first introduce the time synchronization problem and explain the challenges of time synchronization, especially in robotic workloads. Summarizing these challenges, we then present a general hardware synchronization system for robotic computing, which delivers high synchronization accuracy while maintaining low energy and resource consumption. The proposed hardware synchronization system is a key building block in our future robotic products.

연구 동기 및 목표

• 센서의 시간 불일치로 인해 정확한 인식 및 정위치화가 어려워지는 로봇 시스템에서 정밀한 시간 동기화의 핵심 과제를 해결한다.
• 소프트웨어 기반 타임스탬프링의 한계를 극복하여 변동성이 있는 지연으로 인해 동기화 정확도가 떨어지는 문제를 해결한다.
• 단일 로봇 내부(내부 기계 간) 및 여러 로봇 간(외부 기계 간) 동기화를 모두 지원하는 일반적인 하드웨어 솔루션을 설계한다.
• 에너지 및 자원 소비를 최소화하여 임베디드 로봇 시스템에의 구현을 가능하게 한다.
• 우주 탐사에의 적용을 위해 GPS 대신 SCLK를 글로벌 타임 기준으로 사용하도록 시스템을 적응시킨다.

제안 방법

• Xilinx Zynq FPGA 기반 SoC에 동기화 시스템을 구현하여 ARM CPU 클러스터와 FPGA 패브릭을 조합한 하이브리드 처리를 활용한다.
• 호스트 애플리케이션에서가 아니라 센서 인터페이스(예: MIPI, CAN, 이더넷, 직렬 포트)에서 타임스탬프를 확보함으로써 타이밍 제로와 지연을 감소시킨다.
• 카메라 및 IMU에 대해 동기화 펄스를 생성하는 하드웨어 트리거 회로를 사용하여 타임스탬프링의 사이클 수준 정밀도를 달성한다.
• LiDAR 프레임 동기화를 위해 정밀 시간 프로토콜(PTP)을 통합하여 프레임 간 100 μs 이내의 변동을 확보한다.
• GPS, IMU, CAN 및 트리거링 회로에 맞게 FPGA 논리를 맞춤 설계하고, MIPI 및 이더넷 인터페이스에는 Xilinx IP 코어를 재사용한다.
• Arm 코어를 프로토콜 처리, 구성 관리 및 사용자 애플리케이션 인터페이스에 할당하여 제어 기능을 실시간 동기화 논리에서 분리한다.

실험 결과

연구 질문

• RQ1 다양한 센서 유형을 가진 실제 로봇 시스템에서 높은 정밀도와 효율성을 동시에 확보할 수 있는 센서 동기화 방법은 무엇인가?
• RQ2 내부 기계 및 외부 기계 간 동기화에 모두 적용 가능한 일반적인 동기화 시스템을 설계하는 데 핵심이 되는 설계 원칙은 무엇인가?
• RQ3 SoC 인터페이스에서 하드웨어 타임스탬프를 적용할 경우 소프트웨어 기반 접근 방식에 비해 타이밍 제로를 얼마나 줄일 수 있는가?
• RQ4 카메라, IMU, LiDAR, 레이더 등 다양한 센서에서 최소한의 자원 오버헤드로도 고정밀도 동기화를 유지할 수 있는가?
• RQ5 GPS가 사용 불가능한 우주 환경에서 SCLK를 타임 기준으로 사용할 수 있도록 시스템을 어떻게 적응시킬 수 있는가?

주요 결과

• 카메라 및 IMU 타임스탬프링에 대해 사이클 수준의 정밀도를 달성하기 위해 센서를 트리거하고 SoC 인터페이스에서 타임스탬프를 캡처한다.
• PTP를 통한 LiDAR 프레임 동기화는 프레임 간 100 μs 이내의 변동을 보이며, 프레임 간 높은 일관성을 확보한다.
• 하드웨어 구현은 단지 6.9K LUTs와 7.1K 레지스터를 소비하여 임베디드 구현에 적합한 낮은 자원 오버헤드를 입증한다.
• 카메라와 IMU 간 40 ms의 동기화 오류는 VIO 자세 추정에서 10 m의 변위 오류와 최대 3°의 회전 오류를 유발하며, 정밀한 동기화의 필수성을 강조한다.
• 시스템은 내부 기계 간 및 외부 기계 간 동기화를 모두 지원하며, GPS를 SCLK로 교체함으로써 우주 임무에 적합하게 확장 가능한 설계를 갖추고 있다.
• 객체 탐지에 대해 40 m/s 속도에서 0.5 IoU 요구 조건을 충족하기 위해 허용 가능한 동기화 오류는 최소 34 ms 이하이며, 고속 응용 분야에서 마이크로초 이내 정밀도의 중요성을 입증한다.