[논문 리뷰] PRGFlow: Benchmarking SWAP-Aware Unified Deep Visual Inertial Odometry

Nitin J. Sanket, Chahat Deep Singh외 2명|arXiv (Cornell University)|2020. 06. 11.

Robotics and Sensor-Based Localization참고 문헌 40인용 수 6

한 줄 요약

PRGFlow는 하향/상향 카메라, 자이로스코프, 고도계를 사용하여 시각-자이로스코프 오도메트리에 대한 SWAP 인지, 통합된 딥러닝 프레임워크를 제안한다. 이는 다양한 항공 로봇에서 저지연, 강건한 6DoF 운동 추정을 가능하게 하며, 최적화된 아키텍처, 손실 함수 및 하드웨어 인지 압축을 통한 엔드 투 엔드 학습을 통해 실제 비행 테스트에서 궤적 길이의 <3%의 RMSE를 달성한다.

ABSTRACT

Odometry on aerial robots has to be of low latency and high robustness whilst also respecting the Size, Weight, Area and Power (SWAP) constraints as demanded by the size of the robot. A combination of visual sensors coupled with Inertial Measurement Units (IMUs) has proven to be the best combination to obtain robust and low latency odometry on resource-constrained aerial robots. Recently, deep learning approaches for Visual Inertial fusion have gained momentum due to their high accuracy and robustness. However, the remarkable advantages of these techniques are their inherent scalability (adaptation to different sized aerial robots) and unification (same method works on different sized aerial robots) by utilizing compression methods and hardware acceleration, which have been lacking from previous approaches. To this end, we present a deep learning approach for visual translation estimation and loosely fuse it with an Inertial sensor for full 6DoF odometry estimation. We also present a detailed benchmark comparing different architectures, loss functions and compression methods to enable scalability. We evaluate our network on the MSCOCO dataset and evaluate the VI fusion on multiple real-flight trajectories.

연구 동기 및 목표

• 스트레스를 받는 크기, 무게, 전력, 면적(SWAP) 제약 조건 하에서 다양한 항공 로봇에 적합한 통합적이고 확장 가능한 딥러닝 기반 시각-자이로스코프 오도메트리 시스템을 개발한다.
• 자원 제약 조건이 있는 플랫폼을 위한 엔드 투 엔드 딥 VIO에서 압축, 네트워크 아키텍처, 손실 함수 선택에 대한 체계적 랜딩이 부족한 문제를 해결한다.
• 일반적으로 사용 가능한 센서인 단안 카메라, 자이로스코프, 고도계(기압계/소나르/라이adar)만을 사용하여 강건하고 실시간 오도메트리 추정을 가능하게 한다.
• 실제 비행 성능과 지연을 기반으로 연구자 및 실무자가 최적의 네트워크-하드웨어 조합을 선택하는 데 실용적인 참고 자료를 제공한다.

제안 방법

• IMU로 추정한 자세를 기반으로 회전 보정된 이미지 프레임을 딥 네트워크의 입력으로 사용하여 이동 이동량, 줌, 요 변화를 예측한다.
• 고도계 데이터를 활용하여 예측된 이동량을 메트릭 속도로 스케일링함으로써 명시적 깊이 지도 없이도 메트릭 오도메트리 추정을 가능하게 한다.
• 예측된 운동 매개변수의 회귀 오차를 최소화하기 위해 L2 손실을 사용하는 지도 학습을 통해 네트워크를 엔드 투 엔드로 훈련시킨다.
• 왜곡 블록을 사용하여 연속된 이미지 프레임 간 기하학적 변환(이동, 스케일, 회전)을 예측한다.
• 깊이, 폭, 압축 기법이 다른 다양한 아키텍처(VanillaNet, ResNet, SqueezeNet, MobileNet, ShuffleNet)를 다수 평가하여 랜딩한다.
• Jetson TX2, Coral USB, NanoPi Neo 등의 하드웨어 플랫폼에서 추론 속도, 정확도, 파라미터 수를 평가한다.

실험 결과

연구 질문

• RQ1 작은 항공 로봇에서 실시간 VIO를 위한 최적의 네트워크 아키텍처, 압축, 추론 속도 간 상호 보완적 트레이드오프는 무엇인가?
• RQ2 다양한 손실 함수(L2 등)가 자원 제약 조건이 있는 환경에서 실시간 비행에서 엔드 투 엔드 딥 비전 오도메트리의 정확도와 강건성에 미치는 영향은 어떠한가?
• RQ3 어느 신경망 아키텍처와 하드웨어 플랫폼 조합이 정확도, 지연, SWAP 효율성 간 최적의 균형을 이룰 수 있는가?
• RQ4 실제 비행 데이터를 사용한 지도 학습이 피팅 조정 없이 실제 비행 환경으로 일반화되는 정도는 어느 정도인가?
• RQ5 왜곡 블록 수와 네트워크 깊이의 증가가 성능과 계산 비용에 미치는 영향은 어떠한가?

주요 결과

• 제안된 PRGFlow 프레임워크는 실제 비행 실험에서 총 궤적 길이의 3% 미만의 RMSE를 달성하여, 피팅 조정 없이도 높은 강건성을 입증한다.
• 충분한 실제 세계 데이터 변동성을 활용할 경우, L2 손실을 사용한 지도 학습이 비지도 또는 자기지도 학습 대비 유의미하게 높은 정확도를 보인다.
• 높은 파라미터 수에도 불구하고, 더 깊거나 넓은 네트워크는 더 나은 메모리 액세스 패턴과 컨볼루션 연산 효율성 덕분에 더 작은 장치에서 추론 속도 향상을 이끌 수 있다.
• 이 오도메트리 회귀 작업에서는 복잡한 지식 정복 방법보다 단순한 가중치 프루닝이 더 뛰어난 성능을 보였다.
• 특수 지시 세트(예: Jetson 또는 Coral)를 통한 하드웨어 가속은 상당한 속도 향상을 제공하여 저전력 플랫폼에서도 실시간 추론을 가능하게 한다.
• 기존의 고전적 방법보다 더 유연하게 실패하는 경향이 있으며, 이는 고장이 자주 발생하는 환경에서 딥러닝의 핵심 이점임을 시사한다.