[논문 리뷰] SA-Net: Deep Neural Network for Robot Trajectory Recognition from RGB-D Streams

Nihal Soans, Asali, Ehsan외 2명|arXiv (Cornell University)|2019. 05. 10.

Anomaly Detection Techniques and Applications참고 문헌 27인용 수 6

한 줄 요약

SA-Net는 RGB-D 영상 스트림에서 상태-행동 쌍을 인식하기 위해 3D-CNN, LSTMs 및 특징 융합을 조합한 하이브리드 아키텍처를 사용하는 딥 뉴럴 네트워크로, 관찰 기반 로봇 학습에서 정확도를 향상시킵니다. 기존의 중심점 기반 방법과 이전 모델에 비해 특히 노이즈가 많거나 가림이 발생하는 조건에서도 유의미하게 높은 정확도를 달성하며, 자원이 제한된 로봇 플랫폼에서도 견고하게 구동 가능합니다.

ABSTRACT

Learning from demonstration (LfD) and imitation learning offer new paradigms for transferring task behavior to robots. A class of methods that enable such online learning require the robot to observe the task being performed and decompose the sensed streaming data into sequences of state-action pairs, which are then input to the methods. Thus, recognizing the state-action pairs correctly and quickly in sensed data is a crucial prerequisite for these methods. We present SA-Net a deep neural network architecture that recognizes state-action pairs from RGB-D data streams. SA-Net performed well in two diverse robotic applications of LfD -- one involving mobile ground robots and another involving a robotic manipulator -- which demonstrates that the architecture generalizes well to differing contexts. Comprehensive evaluations including deployment on a physical robot show that \sanet{} significantly improves on the accuracy of the previous method that utilizes traditional image processing and segmentation.

연구 동기 및 목표

• 로봇 관찰 기반 학습(LfO) 중 RGB-D 센서 스트림에서 상태-행동 쌍을 정확하게 인식하는 데 있어 핵심 과제를 해결하기 위해.
• OpenCV나 마커 기반 추적에 의존하는 사례별로 특화된 방법에 대체할 수 있는 일반적인 딥 러닝 아키텍처를 개발하기 위해.
• 자원이 제한된 로봇 플랫폼에서 실시간으로 현장에서 상태-행동 인식을 구동할 수 있도록 하기 위해.
• 더 정확한 궤적 데이터를 제공함으로써 이후의 LfO 방법(예: 역강화학습)의 성능을 향상시키기 위해.
• 가림, 배경 혼잡, 저조도 조건과 같은 일반적인 현실 세계 과제에 대한 견고성을 향상시키기 위해.

제안 방법

• 연속된 세 개의 시간 단계(t-2, t-1, t) 동안 RGB 및 깊이 데이터 스트림을 처리하기 위해 이중 브랜치 CNN-LSTM 아키텍처를 사용합니다.
• 시간 분포형 2D-CNN를 적용한 후, 운동 및 자세의 시간적 동역학을 모델링하기 위해 두 개의 스택된 장기 단기 기억(LSTM) 네트워크를 사용합니다.
• 특정 거리 추정을 통해 깊이 데이터를 별도의 브랜치에서 통합함으로써 관찰된 로봇의 공간적 이해를 향상시킵니다.
• 특징 추출 전에 전문가 로봇 주변의 관심 영역을 추출하기 위해 객체 검출(Faster R-CNN 또는 YOLO2)을 적용합니다.
• 완전 연결층과 소프트맥스 분류기로 향후 상태-행동 예측을 위해 RGB 및 깊이 특징을 후기 융합한 후 통합합니다.
• 연속적인 상태-행동 공간 예측에의 확장 가능성을 고려해 공동 회귀 헤드 버전을 활용합니다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 기존의 마커 기반 또는 중심점 기반 추적 방법보다 RGB-D 스트림에서 상태-행동 쌍을 인식하는 데 더 높은 정확도를 달성할 수 있는가?
• RQ2 제안된 아키텍처가 가림, 배경 혼잡, 낮은 실내 조도와 같은 현실 세계 과제에 얼마나 견고한가?
• RQ3 향상된 상태-행동 인식이 로봇 작업에서 이후의 역강화학습 성공률에 어느 정도 기여하는가?
• RQ4 SA-Net이 자원이 제한된 이동식 로봇에 실시간으로 효율적으로 통합될 수 있는가?
• RQ5 성능에 필수적인 아키텍처 구성 요소는 무엇이며, 각 요소는 견고성과 정확도 향상에 어떻게 기여하는가?

주요 결과

• SA-Net은 순환 경로 순찰 작업에서 역강화학습에 대해 평균 63.3%의 성공률을 기록했으며, 중심점 기반 방법(43.9%)에 비해 유의미하게 높은 성능을 보였고, p-value는 0.02였습니다.
• 50%의 가림 조건 하에서 SA-Net은 82.1%의 예측 정확도를 유지했으며, 중심점 기반 방법은 로봇 탐지에 실패하여 0%의 정확도를 기록했습니다.
• 유사한 색상의 상자나 사람 등 배경 잡음 테스트에서는 SA-Net이 85% 이상의 정확도를 유지했으며, 이는 시각적 혼잡에 대한 견고성을 입증합니다.
• YOLO2 기반 검출을 통해 실시간 추론을 달성했으며, Faster R-CNN 대비 예측 시간을 5배 이상 단축시켰습니다.
• 제거 실험을 통해 LSTM 시간 동역학 모델링과 깊이 모odal이 최적 성능을 내기 위해 필수적임을 확인했습니다.
• 로봇의 현장 시스템에서 SA-Net은 RAM을 단 1.2 GB만 소비하여 자원이 제한된 플랫폼에의 구현 가능성을 확인했습니다.