[논문 리뷰] Autonomous driving challenge: To Infer the property of a dynamic object based on its motion pattern using recurrent neural network

Mona Fathollahi, Rangachar Kasturi|arXiv (Cornell University)|2016. 09. 01.

Anomaly Detection Techniques and Applications참고 문헌 8인용 수 3

한 줄 요약

이 논문은 자율 주행 환경에서 물체의 운동 궤적을 기반으로 역동적 물체를 뛰는(경량) 물체와 뛰지 않는(중량감 있는) 물체로 분류하기 위해 장기 단기 기억(LSTM) 순환 신경망을 사용하는 것을 제안한다. 이 방법은 실제 골프공 궤적에서 93%의 정확도를 달성했고, 나무 큐브에서는 100%의 정확도를 기록하여 운동 패턴만으로도 안전한 장애물 대응 결정을 위한 물체의 특성을 신뢰성 있게 추론할 수 있음을 보여준다.

ABSTRACT

In autonomous driving applications a critical challenge is to identify action to take to avoid an obstacle on collision course. For example, when a heavy object is suddenly encountered it is critical to stop the vehicle or change the lane even if it causes other traffic disruptions. However,there are situations when it is preferable to collide with the object rather than take an action that would result in a much more serious accident than collision with the object. For example, a heavy object which falls from a truck should be avoided whereas a bouncing ball or a soft target such as a foam box need not be.We present a novel method to discriminate between the motion characteristics of these types of objects based on their physical properties such as bounciness, elasticity, etc.In this preliminary work, we use recurrent neural net-work with LSTM cells to train a classifier to classify objects based on their motion trajectories. We test the algorithm on synthetic data, and, as a proof of concept, demonstrate its effectiveness on a limited set of real-world data.

연구 동기 및 목표

• 자율 주행에서 물체의 물리적 특성(예: 뛰는 정도)에 따라 장애물을 피하거나 안전하게 통과할지 결정하는 문제를 해결하기 위해.
• 시각적 물체 인식의 한계(해상도 부족, 운동 왜곡, 외관으로부터 질량 추론 불가)를 극복하기 위해 운동 궤적을 신뢰할 수 있는 단서로 활용하기 위해.
• 시각적 특징에 의존하지 않고 궤적 데이터에서 물체의 특성(예: 뛰는 정도, 탄성)을 추론하는 시계열 분류 모델을 개발하기 위해.
• 합성 데이터와 제한된 실제 데이터를 사용하여 접근법을 검증하고, 자율 차량에서 실시간 의사결정에 적용 가능성을 입증하기 위해.

제안 방법

• 블렌더와 버틀 물리 엔진을 사용하여 다양한 질량을 가진 물체를 시뮬레이션하여 합성 운동 궤적을 생성하였으며, 형태는 일정하게 유지하였다.
• 데이터셋은 두 클래스(경량/뛰는, 중량감 있는/뛰지 않는)에 대해 각각 1,000개의 학습 및 테스트 시퀀스로 구성되어 있다.
• 층수 2개, 각 층당 64개 유닛, 드롭아웃 비율 0.8인 LSTM 네트워크를 사용하였으며, 입력은 차원별로 정규화하고 기울기 소실 문제를 완화하기 위해 시간에 따라 잘라서 역전파를 수행하였다.
• 모델은 3D 궤적 시퀀스(X, Y, Z 좌표) 또는 단일 Z축 데이터를 처리하며, 최종 LSTM 히든 상태를 소프트맥스 레이어에 입력하여 분류한다.
• 실제 환경 테스트를 위해 RGB 카메라로 궤적을 촬영하고, 색상 마커를 사용해 추적하였으며, 운동 왜곡으로 인한 데이터 손실 발생 시 보간 또는 영점 패딩을 수행하였다.
• 학습된 모델은 실제 데이터에 대해 Z축 궤적만을 사용하여 평가하였으며, 골프공(매우 뛰는 물체)과 나무 큐브(낮은 뛰는 정도)의 분류 정확도를 측정하였다.

실험 결과

연구 질문

• RQ1 자율 주행 환경에서 운동 궤적 패턴만으로도 뛰는(경량) 물체와 뛰지 않는(중량감 있는) 물체를 신뢰성 있게 구분할 수 있는가?
• RQ2 X, Y, Z 3차원 궤적 데이터를 사용하는 것과 Z축 운동만을 사용하는 것 간에 물체의 뛰는 정도 분류 성능는 어떻게 비교되는가?
• RQ3 LSTM 기반의 물체 운동 패턴 분류 성능를 최대화하면서 기울기 문제를 피하기 위해 최적의 입력 시퀀스 길이는 얼마인가?
• RQ4 합성 궤적으로 학습된 모델이 유사한 물리적 행동을 보이는 실제 동적 물체로 일반화 가능한가?

주요 결과

• 3D 궤적 데이터(X, Y, Z)를 사용한 LSTM 분류기는 Z축 단독 사용 시 78%를 기록한 것에 비해 81%의 정확도를 달성하여 성능이 뛰어나게 나타났다.
• 모델은 뛰는 물체의 경우 정지 시간이 더 길다는 등의 X 및 Y 운동 성분의 미세한 차이를 통해 Z축 데이터만으로는 제공할 수 없는 분류 성능 향상을 입증하였다.
• 시퀀스 길이가 10~15개 시간 단위일 때 정확도가 최고에 도달하였으며, 더 긴 시퀀스에서는 LSTM 내 기울기 소실 현상으로 인해 성능이 저하되었다.
• 실제 데이터에서 모델은 골프공(매우 뛰는 물체) 분류에 대해 93%의 정확도를, 나무 큐브(낮은 뛰는 정도) 분류에 대해 100%의 정확도를 기록하여 합성 궤적에서 실제 궤적으로의 일반화가 성공적으로 이루어졌음을 확인하였다.
• 결과적으로 시각적 인식에 실패하더라도 운동 궤적이 물체의 물리적 특성(예: 뛰는 정도)을 추론하는 강력하고 신뢰할 수 있는 단서임을 확인하였다.