[논문 리뷰] Integrating kinematics and environment context into deep inverse reinforcement learning for predicting off-road vehicle trajectories

Yanfu Zhang, Wenshan Wang외 3명|arXiv (Cornell University)|2018. 10. 16.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

이 논문은 오프로드 차량의 궤적 예측을 위해 운동학적 상태와 LiDAR 기반 환경적 맥락을 함께 모델링하는 이단계적 딥 인버스 강화학습 프레임워크를 제안한다. 특징 추출 단계에서 운동학적 정보를 통합함으로써 상태 공간에 통합하는 것보다 지수적 복잡도 증가를 방지하며, EKF, 행동 클로닝, 운동학 무관 IRL보다 뛰어난 성능을 보인다. 30km의 맞춤형 오프로드 데이터셋에서 교차로에서의 다중모달 행동과 속도에 따른 운동 패턴을 잘 포착한다.

ABSTRACT

Predicting the motion of a mobile agent from a third-person perspective is an important component for many robotics applications, such as autonomous navigation and tracking. With accurate motion prediction of other agents, robots can plan for more intelligent behaviors to achieve specified objectives, instead of acting in a purely reactive way. Previous work addresses motion prediction by either only filtering kinematics, or using hand-designed and learned representations of the environment. Instead of separating kinematic and environmental context, we propose a novel approach to integrate both into an inverse reinforcement learning (IRL) framework for trajectory prediction. Instead of exponentially increasing the state-space complexity with kinematics, we propose a two-stage neural network architecture that considers motion and environment together to recover the reward function. The first-stage network learns feature representations of the environment using low-level LiDAR statistics and the second-stage network combines those learned features with kinematics data. We collected over 30 km of off-road driving data and validated experimentally that our method can effectively extract useful environmental and kinematic features. We generate accurate predictions of the distribution of future trajectories of the vehicle, encoding complex behaviors such as multi-modal distributions at road intersections, and even show different predictions at the same intersection depending on the vehicle's speed.

연구 동기 및 목표

• 기존 운동 예측 방법이 운동학과 환경을 별도로 다루어 에이전트 행동을 완전히 모델링하지 못하는 한계를 해결한다.
• 운동학을 인버스 강화학습에 통합할 경우 발생하는 지수적 상태공간 복잡도 문제를 특징 추출 단계에서 운동학적 특징을 통합함으로써 해결한다.
• 동적 운동과 환경적 맥락을 함께 모델링하여 오프로드 자율 주행의 일반화 및 정확도 향상을 도모한다.
• 다양한 지형과 복잡한 행동을 포함한 실제 오프로드 주행 데이터셋에서 제안된 방법의 유효성을 입증한다.

제안 방법

• 이중 단계 신경망을 사용한다: 첫 번째 단계는 저수준 LiDAR 통계를 처리하여 도로 통행 가능성, 장애물 존재 여부 등의 환경적 특징을 추출한다.
• 두 번째 단계는 학습된 환경적 특징과 고정된 시간 창 내 과거 운동학적 상태(위치, 속도, 방향)를 융합하여 향후 궤적 분포를 예측한다.
• 전문가 주행 시연를 기반으로 보상 함수를 복원하기 위해 인버스 강화학습을 적용하여 복잡한 다중모달 행동을 추론할 수 있도록 한다.
• 비교 실험에서 LiDAR 입력을 상수 값으로 대체하여 환경적 맥락이 예측 정확도에 기여하는 정도를 분리 분석한다.
• 실제 오프로드 주행에서 수집한 전문가 궤적을 사용하여 엔드 투 엔드로 모델을 훈련하며, 평가에 음의 로그우도(NLL)와 하우스도르프 거리(HD) 기반 손실 함수를 사용한다.
• 특징 추출에 잔차 신경망 아키텍처를 사용하고, 다중모달 궤적 분포를 출력하기 위해 확률적 디코더를 적용한다.

실험 결과

연구 질문

• RQ1 운동학과 환경적 맥락을 통합한 유일한 딥 인버스 강화학습 프레임워크를 사용할 경우, 별도로 다루는 방법보다 궤적 예측 정확도가 향상되는가?
• RQ2 운동학을 상태 공간이 아닌 특징 추출 단계에서 모델링할 경우, 고차원 운동학적 상태로 인한 지수적 복잡도 문제를 완화할 수 있는가?
• RQ3 속도와 환경적 맥락이 오프로드 교차로에서 예측 궤적의 다중모달성에 어떻게 영향을 미치는가?
• RQ4 개방적이고 제약이 없는 환경에서 운동학적 맥락이 없을 경우 예측 성능이 얼마나 떨어지는가?
• RQ5 모델은 속도에 따라 변화하는 불확실성 원뿔을 가진 전방 운동 모델을 학습하여 현실적인 차량 동역학을 반영할 수 있는가?

주요 결과

• 제안된 방법은 테스트 세트에서 가장 낮은 NLL(0.69)과 HD(6.71)를 기록하여, EKF(NLL: N.A., HD: 9.12), 행동 클로닝(NLL: 0.87, HD: 10.54), 운동학을 고려하지 않은 딥 IRL(NLL: 1.33, HD: 25.46)을 모두 능가했다.
• 교차로에서 모델은 다중모달 궤적을 예측하였으며, 저속 주행 시 높은 불확실성과 다수의 가능 경로를 보였고, 고속 주행 시에는 더 결정적인 직진 예측을 보였다.
• 비교 실험 결과, 운동학적 특징을 제거할 경우 개방된 지형에서 예측이 흐릿하고 매우 불확실해졌으며, 이는 방향성 의도가 부족했기 때문이다.
• 첫 번째 단계 네트워크는 통행 가능한 도로 구역과 LiDAR 통계를 인코딩하는 데 성공했으며, 특징 맵에서는 도로 세그먼트에서 높은 활성화, 장애물에서는 흐린 패턴을 보였다.
• 두 번째 단계 네트워크는 차량의 향방에 맞춰 정렬된 불확실성 원뿔을 학습한 전방 운동 모델을 구현하였으며, 원뿔의 너비는 속도에 따라 변화하여 현실적인 동역학적 불확실성을 반영했다.
• LiDAR 입력을 상수 값으로 대체할 경우 예측 품질이 심각하게 악화되어, 환경적 맥락이 행동을 형성하는 데 핵심적인 역할을 한다는 점을 입증했다.