[논문 리뷰] End-to-End Tracking and Semantic Segmentation Using Recurrent Neural Networks

Peter Ondrúška, Julie Dequaire외 2명|arXiv (Cornell University)|2016. 04. 18.

Anomaly Detection Techniques and Applications참고 문헌 24인용 수 46

한 줄 요약

이 논문은 실시간으로 원시 레이저 데이터를 사용하여 객체 추적과 의미적 세그멘테이션을 동시에 수행하는 엔드 투 엔드 순환 신경망 프레임워크를 제안한다. 비지도 학습 기반의 딥 트래킹을 활용해 표현 학습을 하고 인덕티브 트랜스퍼를 적용하여 최소한의 레이블 데이터로도 객체를 분류한다. 이 방법은 실제 도로 교차로 데이터에서 최신의 모델 프리 없는 추적 및 일회성 분류 기준보다 뛰어난 성능을 달성한다.

ABSTRACT

In this work we present a novel end-to-end framework for tracking and classifying a robot's surroundings in complex, dynamic and only partially observable real-world environments. The approach deploys a recurrent neural network to filter an input stream of raw laser measurements in order to directly infer object locations, along with their identity in both visible and occluded areas. To achieve this we first train the network using unsupervised Deep Tracking, a recently proposed theoretical framework for end-to-end space occupancy prediction. We show that by learning to track on a large amount of unsupervised data, the network creates a rich internal representation of its environment which we in turn exploit through the principle of inductive transfer of knowledge to perform the task of it's semantic classification. As a result, we show that only a small amount of labelled data suffices to steer the network towards mastering this additional task. Furthermore we propose a novel recurrent neural network architecture specifically tailored to tracking and semantic classification in real-world robotics applications. We demonstrate the tracking and classification performance of the method on real-world data collected at a busy road junction. Our evaluation shows that the proposed end-to-end framework compares favourably to a state-of-the-art, model-free tracking solution and that it outperforms a conventional one-shot training scheme for semantic classification.

연구 동기 및 목표

• 센서 가림으로 인해 인지 능력이 제한되는 복잡하고 동적인, 부분적으로 관찰 가능한 실세계 환경에서 정확한 상황 인식을 유지하는 데 도전하는 것.
• 다단계 인지 파이프라인에서 수작업으로 설계된 구성 요소에 의존도를 줄이기 위해 원시 센서 입력에서 엔드 투 엔드 학습을 가능하게 하는 것.
• 통합된 순환 신경망 아키텍처를 사용해 동시에 객체 추적과 의미적 분류를 수행할 수 있도록 하는 것.
• 비지도 트래킹 사전 학습을 통한 인덕티브 트랜스퍼를 활용해 대규모 레이블링 데이터셋이 필요한 양을 최소화하는 것.
• 실세계 시나리오에서 완전한 가림 상황에서도 추적 및 분류의 실시간 성능와 강건성을 입증하는 것.

제안 방법

• 레이저 데이터에서 다양한 크기의 객체를 처리하기 위해 다중 스케일 컨볼루션 레이어를 갖춘 고유한 순환 신경망 아키텍처를 사용한다.
• 장기 추적을 위해 시간 정보를 유지하는 동적 메모리와 장소별 환경 지식을 저장하는 정적 메모리를 통합한다.
• 신경망은 원시 레이저 시퀀스에서 향후 점유 격자를 예측하기 위해 비지도 딥 트래킹을 사용해 사전 학습한다.
• 인덕티브 트랜스퍼를 적용하기 위해 학습된 은닉 표현 $ h_t $ 를 분류기 헤드의 입력으로 사용함으로써 데이터 요구량을 줄인다.
• 정확한 공간적 및 맥락적 특징을 추적 과정에서 포착한 은닉 상태 $ h_t $ 를 기반으로 의미적 세그멘테이션을 수행한다.
• 시스템은 GPU에서 15ms의 추론 시간으로 8Hz 속도로 레이저 데이터를 처리하여 실시간 운영을 가능하게 한다.

실험 결과

연구 질문

• RQ1 실시간으로 원시 레이저 입력으로부터 복잡하고 가림이 있는 환경에서 객체 추적과 의미적 세그멘테이션을 동시에 수행할 수 있는 단일 엔드 투 엔드 딥 러닝 프레임워크가 존재하는가?
• RQ2 트래킹 작업에서의 비지도 사전 학습이 최소한의 레이블 데이터로 하류의 의미적 분류 성능을 얼마나 향상시킬 수 있는가?
• RQ3 동적 및 정적 메모리가 탑재된 제안된 순환 아키텍처는 장기적인 가림 상황에서도 정확한 객체 상태 유지에 얼마나 효과적인가?
• RQ4 은닉 표현 $ h_t $ 를 의미적 서술자로 사용하는 것이 원시 센서 입력에서 직접 분류하는 것보다 우수한가?
• RQ5 기존의 다단계 및 최신의 모델 프리 없는 추적 파이프라인에 비해 엔드 투 엔드 프레임워크는 정확도와 강건성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 향후 점유 격자를 예측하는 데 있어 원래의 딥 트래킹 아키텍처와 최신의 다단계 파이프라인보다 뛰어난 성능을 보이며, 10프레임의 예측 범위에서 F1 점수가 높다.
• 은닉 표현 $ h_t $ 를 사용할 경우 의미적 분류의 음의 로그우도는 49.129로 측정되었고, 원시 입력 $ x_t $ 에서 직접 분류할 경우 101.967로 측정되어 인덕티브 트랜스퍼의 효과를 입증한다.
• 입력이 없더라도 정적 메모리를 기반으로 타당한 점유 예측을 생성함으로써, 시스템이 장소별 환경 사전 지식을 학습하고 유지할 수 있음을 확인한다.
• 완전한 가림 상황에서도 객체의 정확한 추적과 분류를 유지하며, 단기적인 미래의 객체 운동 예측까지 가능하다.
• Nvidia Titan GPU에서 프레임당 15ms의 추론 시간으로 전방 추론이 실행되어 실제 레이저 데이터 스트림에서 8Hz 속도로 실시간 운영이 가능하다.
• 혼동 행렬은 높은 분류 정확도를 보이며, 주요 오류 원인은 보행자와 자전거가 2D 레이저 형상에서 유사하여 오분류되는 것이다.