[논문 리뷰] Task-relevant Representation Learning for Networked Robotic Perception

Manabu Nakanoya, Sandeep Chinchali외 4명|arXiv (Cornell University)|2020. 11. 06.

Robotics and Automated Systems참고 문헌 22인용 수 4

한 줄 요약

이 논문은 사전 훈련된 고정된 작업 네트워크와 인코더/디코더 네트워크를 정렬시켜 작업에 관련된 최소한의 로봇 감각 데이터 표현을 학습하는 공동 설계 프레임워크를 제안한다. 작업 목표를 통해 압축을 유도함으로써, 이 방법은 기존 오토에인코더 대비 최대 11배 높은 압축률을 달성하면서도 화성 지형 분류, 신경 운동 계획, 환경 이상 탐지와 같은 다양한 작업에서 높은 정확도를 유지한다. 이는 저전력 엣지 가속기 조차도 가능하다.

ABSTRACT

Today, even the most compute-and-power constrained robots can measure complex, high data-rate video and LIDAR sensory streams. Often, such robots, ranging from low-power drones to space and subterranean rovers, need to transmit high-bitrate sensory data to a remote compute server if they are uncertain or cannot scalably run complex perception or mapping tasks locally. However, today's representations for sensory data are mostly designed for human, not robotic, perception and thus often waste precious compute or wireless network resources to transmit unimportant parts of a scene that are unnecessary for a high-level robotic task. This paper presents an algorithm to learn task-relevant representations of sensory data that are co-designed with a pre-trained robotic perception model's ultimate objective. Our algorithm aggressively compresses robotic sensory data by up to 11x more than competing methods. Further, it achieves high accuracy and robust generalization on diverse tasks including Mars terrain classification with low-power deep learning accelerators, neural motion planning, and environmental timeseries classification.

연구 동기 및 목표

• 현재의 감각 데이터 표현 방식이 인간의 인지에 최적화되어 있어 로봇 작업 성능을 고려하지 못하는 데서 기인하는 비효율성을 해결하기 위해.
• 자원이 제한된 로봇이 원격 서버로 감각 데이터를 전송하여 인식 작업을 수행할 때의 통신 및 계산 비용을 줄이기 위해.
• 사전 훈련된 작업 모델의 목표에 부합하는 유의미한 특징만 유지하는 최소한의 작업 특화된 감각 표현을 공동 설계하기 위해.
• 저전력 엣지 장치(예: Google Edge TPU)에 효율적으로 구현할 수 있도록 현장에서의 계산 및 대역폭 사용을 최소화하기 위해.
• RGB-D 영상, 라이다 포인트 클라우드, 환경 시간 시리즈 등 다양한 센서 모odalities에 일반화 가능하도록 하기 위해.

제안 방법

• 중앙 서버에 존재하는 미리 훈련된, 고정된 작업 네트워크를 활용하고, 그 목표가 로봇 측의 인코더와 서버 측의 디코더 학습을 이끌도록 한다.
• 인코더는 원시 감각 입력을 저차원의 봉쇄 표현 $ z $ 로 압축하고, 디코더는 이를 복원하여 작업 추론을 수행한다.
• 손실 함수는 작업에 특화된 분류 손실과 재구성 손실을 조합하며, 작업 손실이 지배적으로 작용하여 최종 작업에 관련된 정보를 우선적으로 유지한다.
• 입력 차원의 변경 없이도 상용 작업 모듈을 지원하여 공개 모델과 즉각적인 플러그 앤 플레이 통합이 가능하다.
• 모든 파라미터를 백프로파게이션을 통해 엔드 투 엔드로 훈련하며, 훈련 중에는 작업 네트워크의 파라미터는 고정된다.
• 계산 자원은 로봇과 서버 간에 자유롭게 할당 가능하여 저전력 DNN 가속기와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 공동 설계된 인코더-디코더 프레임워크는 표준 오토에인코더보다 더 높은 압축 효율을 보이는 최소한의 작업 관련 표현을 학습할 수 있는가?
• RQ2 제안된 방법은 화성 지형이나 환경 센서 이상과 같이 새로운 도메인의 로봇 인식 작업에 얼마나 잘 일반화되는가?
• RQ3 저전력 하드웨어에서 높은 작업 정확도를 유지하면서도 통신 비용과 현장에서의 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 영상, 라이다, 시간 시리즈 데이터를 포함한 다양한 센서 모달리티에 대해 아키텍처 변경 없이 적용 가능한가?
• RQ5 재구성 중심의 압축과 비교했을 때, 작업 유도 압축은 정확도와 효율성 측면에서 얼마나 뛰어나게 작용하는가?

주요 결과

• 이 방법은 전체 재구성보다 작업 관련 특징에 집중함으로써 표준 오토에인코더 대비 최대 11배 높은 압축률을 달성한다.
• 화성 지형 분류 작업에서, 봉쇄 크기가 작을수록($ z = 4, 8 $) TaskNet이 MPNet을 상당한 격차로 앞서며, 외부 도메인 지형에 대한 일반화 능력이 뛰어나다는 것을 입증한다.
• 신경 운동 계획 작업에서는 $ z = 8 $ 일 때도 TaskNet이 높은 성능 유지를 보이고, MPNet은 급격히 성능 저하를 보이며 정보 효율성이 뛰어나다는 것을 시사한다.
• 환경 시간 시리즈 이상 탐지 작업에서는 원본 데이터의 90% 테스트 정확도를 유지하면서도 낮은 재구성 손실과 높은 압축률을 달성한다.
• Google Edge TPU와 같은 저전력 엣지 장치에의 배포가 가능하여, 계산 및 대역폭 제약이 엄격한 실제 로봇 시스템에 적합하다.
• 영상, 라이다, 다중 센서 시간 시리즈 등 다양한 센서 모달리티에 걸쳐 일관된 성능 향상을 보이며 일반화 능력이 뛰어나다.