[논문 리뷰] Scene-Graph Augmented Data-Driven Risk Assessment of Autonomous Vehicle Decisions

Shih-Yuan Yu, Arnav Vaibhav Malawade외 3명|arXiv (Cornell University)|2020. 08. 31.

Autonomous Vehicle Technology and Safety참고 문헌 38인용 수 5

한 줄 요약

이 논문은 자율주행 차량 의사결정에서 주관적 위험 평가를 위한 시나리오 그래프 증강 데이터 기반 접근법을 제안한다. 다중 관계 그래프 컨볼루션 네트워크, LSTM 및 어텐션 메커니즘을 사용하여 공간적 및 시간적 관계를 모델링한다. 대규모 합성 데이터셋에서 96.4%의 정확도를 기록했고, 실세계 데이터셋에서 87.8%의 전이 정확도를 달성하여 정확도, 전이 가능성 및 해석 가능성 면에서 최신 기술을 초월한다.

ABSTRACT

Despite impressive advancements in Autonomous Driving Systems (ADS), navigation in complex road conditions remains a challenging problem. There is considerable evidence that evaluating the subjective risk level of various decisions can improve ADS' safety in both normal and complex driving scenarios. However, existing deep learning-based methods often fail to model the relationships between traffic participants and can suffer when faced with complex real-world scenarios. Besides, these methods lack transferability and explainability. To address these limitations, we propose a novel data-driven approach that uses scene-graphs as intermediate representations. Our approach includes a Multi-Relation Graph Convolution Network, a Long-Short Term Memory Network, and attention layers for modeling the subjective risk of driving maneuvers. To train our model, we formulate this task as a supervised scene classification problem. We consider a typical use case to demonstrate our model's capabilities: lane changes. We show that our approach achieves a higher classification accuracy than the state-of-the-art approach on both large (96.4% vs. 91.2%) and small (91.8% vs. 71.2%) synthesized datasets, also illustrating that our approach can learn effectively even from smaller datasets. We also show that our model trained on a synthesized dataset achieves an average accuracy of 87.8% when tested on a real-world dataset compared to the 70.3% accuracy achieved by the state-of-the-art model trained on the same synthesized dataset, showing that our approach can more effectively transfer knowledge. Finally, we demonstrate that the use of spatial and temporal attention layers improves our model's performance by 2.7% and 0.7% respectively, and increases its explainability.

연구 동기 및 목표

• 기존의 딥러닝 기반 위험 평가 방법이 교통 참가자 간의 관계를 모델링하는 데서 약점이 있고 해석 가능성이 확보되지 않는 문제를 해결하기 위해.
• 실세계 레이블이 부족한 상황에서 시뮬레이션된 학습 데이터에서 실세계 구현으로의 전이 가능성을 향상시키기 위해.
• 공간적 및 시간적 어텐션 메커니즘을 통합하여 위험 결정에 영향을 주는 핵심 시나리오 요소를 강조함으로써 모델의 해석 가능성 향상시키기 위해.
• 시나리오 그래프를 통한 의미적 시나리오 이해를 통해 차선 변경과 같은 복잡한 주행 조작에 대한 효과적인 위험 평가를 가능하게 하기 위해.
• 합성 데이터의 일반화 능력을 향상시켜 실세계 데이터가 제한된 상황에서도 데이터 기반 모델이 높은 정확도와 강건성을 달성할 수 있음을 입증하기 위해.

제안 방법

• 모델은 조망도 시점에서 교통 참가자 간의 객체 식별자, 속성 및 공간적 관계를 인코딩하기 위해 시나리오 그래프를 중간 표현으로 사용한다.
• 다중 관계 그래프 컨볼루션 네트워크(MR-GCN)는 관계적 맥락을 인코딩하는 노드 및 에지 표현을 학습하기 위해 시나리오 그래프를 처리한다.
• LSTM은 시간에 따른 시나리오 그래프 임베딩의 시퀀스를 처리하여 위험 변화의 시간적 동역학을 모델링한다.
• 공간적 및 시간적 어텐션 레이어를 적용하여 중요한 노드와 프레임에 가중치를 부여함으로써 모델 성능과 해석 가능성을 향상시킨다.
• 최종 위험 예측은 시간적 어텐션의 컨텍스트 벡터와 그래프 임베딩을 결합하여 분류기 헤드를 통해 생성된다.
• 이 작업은 시뮬레이션 환경에서 합성된 학습 데이터를 기반으로 한 지도 학습 시나리오 분류 문제로 공식화된다.

실험 결과

연구 질문

• RQ1 시나리오 그래프 표현을 통합한 데이터 기반 위험 평가 모델이 합성 및 실세계 데이터셋 모두에서 기존의 CNN-LSTM 기반 모델보다 정확도 면에서 뛰어나게 성능을 내는가?
• RQ2 제안된 모델이 최신 기술 대비 시뮬레이션 학습 데이터에서 실세계 테스트 데이터로의 일반화 능력은 어느 정도인가?
• RQ3 공간적 및 시간적 어텐션 메커니즘이 자율주행 주행 위험 평가에서 모델의 성능 향상과 해석 가능성 향상에 어떻게 기여하는가?
• RQ4 합성 데이터에서의 지식을 통해 전이 능력을 향상시켜 실세계 데이터가 제한된 상황에서도 높은 정확도를 달성할 수 있는가?
• RQ5 교통 참가자 간의 관계적 특징이 복잡한 주행 상황에서 위험 인식 및 의사결정 향상에 어떤 역할을 하는가?

주요 결과

• 제안된 모델은 대규모 합성 데이터셋(271-syn)에서 96.4%의 분류 정확도를 기록했으며, 최신 기술의 91.2%를 초월한다.
• 더 작은 합성 데이터셋(96-syn)에서 모델은 91.8%의 정확도를 기록했고, 기준 모델은 71.2%에 그쳐 데이터 효율성 면에서 뛰어난 성능을 보였다.
• 실세계 데이터셋(571-honda)에서 테스트한 결과, 모델은 87.8%의 정확도를 유지했고, 기준 모델은 70.3%로 떨어져 전이 가능성 면에서 뚜렷한 우수성을 보였다.
• 모델은 271-syn 및 1043-syn 데이터셋에서 합성 데이터에서 실세계 데이터로 전이할 때 평균 6.7% 및 3.5%의 정확도 감소를 보였고, 기준 모델은 각각 21.3% 및 14.9%의 감소를 보였다.
• 공간적 및 시간적 어텐션 메커니즘의 통합으로 모델 정확도가 각각 2.7% 및 0.7% 향상되었으며, 위험 결정에 영향을 주는 핵심 시나리오 요소를 시각화할 수 있었다.
• 어텐션 시각화 결과, 위험 증가에 따라 모델이 충돌 위험이 있는 상황(예: 즉각적인 충돌)을 정확히 식별하여 주행차량과 대면 차량에 더 높은 어텐션 가중치를 할당하는 것으로 확인되었다.