[논문 리뷰] IntentNet: Learning to Predict Intention from Raw Sensor Data

Sergio Casas, Wenjie Luo외 1명|arXiv (Cornell University)|2021. 01. 20.

Autonomous Vehicle Technology and Safety인용 수 250

한 줄 요약

IntentNet은 원시 LiDAR BEV 데이터와 동적 맵에서 직접 차량을 탐지하고 연속적인 궤적과 이산적 고수준 의도를 함께 예측하는 단일 엔드-투-엔드 네트워크로, 공유 계산으로 탐지, 궤적 예측 및 의도 예측을 향상시킵니다.

ABSTRACT

In order to plan a safe maneuver, self-driving vehicles need to understand the intent of other traffic participants. We define intent as a combination of discrete high-level behaviors as well as continuous trajectories describing future motion. In this paper, we develop a one-stage detector and forecaster that exploits both 3D point clouds produced by a LiDAR sensor as well as dynamic maps of the environment. Our multi-task model achieves better accuracy than the respective separate modules while saving computation, which is critical to reducing reaction time in self-driving applications.

연구 동기 및 목표

• 다른 에이전트의 고수준 의도와 미래 모션을 정확하게 추론하여 안전한 자율 주행을 촉진한다.
• LiDAR BEV와 동적 맵 정보를 융합하여 이산적 행동과 연속적 궤적을 예측하는 원스테이지 네트워크를 개발한다.
• 탐지, 의도 분류 및 궤적 회귀를 함께 최적화하여 정확도를 높이되 계산 시간을 줄인다.

제안 방법

• LiDAR 포인트 구름을 높이를 채널로 하는 3D 텐서로 BEV에 표현하고 과거 스윕들을 축적하여 시계열 맥락을 반영한다.
• 동적 HD 맵을 BEV 이진 마스크로 래스터화하여 도로 토폴로지, 차선, 교차로 및 신호등 상태를 인코딩한다.
• LiDAR BEV와 맵 입력을 각각 처리하는 2스트림 백본을 사용하고 기능을 융합한 뒤 탐지, 이산적 의도, 궤적 회귀의 세 가지 태스크 헤드로 전달한다.
• 각 앵커 박스마다 (i) 차량/배경 탐지 점수, (ii) 8개 클래스의 이산적 고수준 의도, (iii) 시간 스텝에 걸친 바운딩 박스 형태의 미래 궤적을 예측한다.
• 탐지 손실, 시간 할인된 의도 교차 엔트로피, 그리고 궤적에 대한 가중화된 매끄러운 L1 회귀 손실을 포함하는 다태스크 손실로 엔드투엔드 학습을 수행하고, 미래 불확실성을 반영하기 위한 시간 할인 인자를 포함한다.

실험 결과

연구 질문

• RQ1 단일 엔드투엔드 네트워크가 원시 LiDAR 및 맵 데이터로 차량을 공동 탐지하고 이산적 고수준 의도를 예측하며 장기 궤적을 예측할 수 있는가?
• RQ2 LiDAR와 맵 정보의 조기/늦은 융합 및 시계열 맥락이 FaF 기반 접근법에 비해 탐지 및 의도/궤적 예측을 향상시키는가?
• RQ3 맵 프라이어와 이산적 의도 손실의 포함이 전체 탐지 및 모션 예측 성능에 어떤 영향을 미치는가?

주요 결과

모델	mAP@0.5	mAP@0.6	mAP@0.7	mAP@0.8	mAP@0.9
SqueezeNet	74.0	62.3	41.9	13.8	0.2
SSD	84.0	75.1	58.2	26.0	1.0
MobileNet	86.1	78.3	60.4	27.5	1.1
FaF	89.8	82.5	68.1	35.8	2.5
FaF’	88.4	80.1	64.1	30.9	1.6
IntentNet	94.4	89.4	75.4	43.5	3.9
IntentNet*	88.?	80.1	64.1	30.9	1.6

• IntentNet은 실시간 탐지기보다 IoU 수준에서 더 높은 mAP를 달성한다(예: mAP@0.5 = 94.4, mAP@0.6 = 89.4, mAP@0.7 = 75.4, mAP@0.8 = 43.5, mAP@0.9 = 3.9).
• 궤적 회귀는 FaF 및 FaF’ 대비 L1 추적 내 위치(L1 along-track), 횡단(L1 across-track) 및 헤딩 오차에서 개선된다(예: along 0s: 0.26 m; 1s: 0.46 m; across 0s: 0.15 m; heading 0s: 5.14 deg).
• IntentNet은 의도 예측에서 baselines를 능가하며, 특히 덜 대표적인 행동에 대해 맵과 이산적 의도 모델링을 통해 모든 행동의 평균 정확도가 97.7%에 도달한다.
• 맵 프라이어와 이산적 의도 손실의 포함이 전체 성능을 최적으로 만들고, 맵 제거나 의도 손실 제거는 결과를 저하시키는 것으로 나타났으며 이는 제거 연구에서 확인된다.
• FaF에 비해 전체 입력(맵 + 고수준 행동)을 갖춘 IntentNet이 탐지 및 더 긴 시퀀스의 모션 예측에서 성능이 향상된다.