[논문 리뷰] Perceive, Attend, and Drive: Learning Spatial Attention for Safe Self-Driving

Bob Wei, Mengye Ren외 4명|arXiv (Cornell University)|2020. 11. 02.

Advanced Neural Network Applications참고 문헌 54인용 수 4

한 줄 요약

이 논문은 종단간 자율주행 시스템에서 운동 계획 안전성에 직접 최적화된 학습 가능한 희소 공간 주의 모듈을 제안한다. 인지 정확도가 아닌 운동 계획 안전성에 초점을 맞추어, 데이터 기반 주의 마스크를 통해 핵심 시나리오 영역에 계산 자원을 집중시킴으로써 충돌률을 20% 감소시키고, 95%의 희소성에서도 계획 성능을 향상시키며, 주의 시각화를 통해 해석 가능성도 향상시킨다.

ABSTRACT

In this paper, we propose an end-to-end self-driving network featuring a sparse attention module that learns to automatically attend to important regions of the input. The attention module specifically targets motion planning, whereas prior literature only applied attention in perception tasks. Learning an attention mask directly targeted for motion planning significantly improves the planner safety by performing more focused computation. Furthermore, visualizing the attention improves interpretability of end-to-end self-driving.

연구 동기 및 목표

• 종단간 자율주행 시스템에서 인지 목표(예: 평균 정밀도)와 실제 목표인 안전한 운동 계획 간의 괴리 문제를 해결한다.
• 운전 안전성에 영향을 주지 않는 불필요하거나 먼 물체에 대한 계산 낭비를 줄인다.
• 계획 성능에 직접 최적화된 주의 마스크를 학습시켜 운동 계획의 안전성과 효율성을 향상시킨다.
• 주목적 영역을 강조하는 주의 마스크의 시각화를 통해 종단간 모델의 해석 가능성을 향상시킨다.

제안 방법

• 운동 계획에 핵심적인 공간 영역에 집중하기 위해 특징 기반 구조의 계산을 게이팅하는 희소 주의 모듈을 도입한다.
• 주의 마스크 영역 기반으로 감지 및 예측 손실을 재가중하는 다중 작업 손실을 사용해 주의 마스크를 종단간으로 훈련시킨다.
• 주의 마스크의 희소성을 유도하기 위해 ℓ₁ 정규화 항을 적용하며, 이는 하이퍼파라미터 λₐ로 제어된다.
• 감지 및 예측(PnP) 손실 간의 균형을 맞추기 위해 학습 가능한 손실 재가중 비율 γ₁을 사용하여 주의 마스크 내외의 운전자 간 균형을 조절한다.
• 전체 시나리오 감지 정확도보다 계획 성능을 우선시하는 통합 훈련 목표를 사용해 주의 마스크를 최적화한다.
• 주의 마스크를 시각화하여 모델이 관련 시나리오 영역에 집중하고 있음을 검증하고 해석 가능성을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 공간 주의 메커니즘이 관련 시나리오 영역에 계산 자원을 집중시켜 종단간 자율주행 시스템의 운동 계획 안전성을 향상시킬 수 있는가?
• RQ2 운동 계획 목표에 직접 최적화된 주의 마스크를 학습시키는 것이 기존의 인지 중심 훈련 방식보다 성능과 효율성 면에서 뛰어나게 되는가?
• RQ3 주의 마스크의 희소성이 계획 성능 및 계산 효율성에 어떤 영향을 미치는가?
• RQ4 주목적 기반 손실 재가중이 핵심 운전자에 대한 감지 정확도를 떨어뜨리지 않으면서도 계획 성능을 향상시킬 수 있는가?
• RQ5 주의 마스크의 시각화가 종단간 자율주행 모델의 해석 가능성에 얼마나 기여하는가?

주요 결과

• 제안된 모델은 밀도 기반 기준 대비 95% 주의 희소성에서 충돌률을 20% 감소시켰다(0.511% 대비 0.639%).
• 희소성이 증가할수록 계획 성능이 향상되며, 95% 희소성에서 3초 간격 궤적 L2 오차가 2.102m로 최적 성능을 기록했다.
• 모델은 95% 희소성에도 불구하고 주의 영역 내 mAP가 88.5% (IoU@0.7)로 밀도 기반 기준보다 높아 핵심 운전자에 더 집중하고 있음을 보여주었다.
• γ₁ = 0.9일 때 최적의 성능을 기록했으며, γ₁ = 1.0일 경우 주의 마스크 영역에 과적합되어 성능이 열악해졌다.
• 주의 마스크 시각화 결과, 모델이 관련 교통 참가자 및 도로 영역에 집중하고 있음을 확인했으며, 이는 해석 가능성 향상에 기여했다.
• 실패 사례는 주로 후방 충돌로 발생하여, 개방형 평가 환경에서 오른쪽 전환과 같은 개방된 도로 옵션에 대한 집중이 부족한 것으로 나타났다.