[논문 리뷰] Risk-averse Behavior Planning for Autonomous Driving under Uncertainty

Mohammad Naghshvar, Ahmed K. Sadek외 1명|arXiv (Cornell University)|2018. 12. 04.

Autonomous Vehicle Technology and Safety참고 문헌 18인용 수 7

한 줄 요약

이 논문은 QMDP, 스트레스 전환(unscented transform), 및 수정된 몬테카를로 트리 탐색(MCTS)을 통합하여 센서 측정치와 환경 상태의 불확실성을 모델링하고 전파하는 리스크 회피적 행동 계획 프레임워크를 제안한다. 이 방법은 부분 관측 조건에서도 견고한 의사결정을 가능하게 하여, 센서 범위가 제한되거나 융합 차량이 가림을 입는 상황에서 속도와 제동도 사이의 더 안전한 트레이드오프를 달성한다.

ABSTRACT

Autonomous vehicles have to navigate the surrounding environment with partial observability of other objects sharing the road. Sources of uncertainty in autonomous vehicle measurements include sensor fusion errors, limited sensor range due to weather or object detection latency, occlusion, and hidden parameters such as other human driver intentions. Behavior planning must consider all sources of uncertainty in deciding future vehicle maneuvers. This paper presents a scalable framework for risk-averse behavior planning under uncertainty by incorporating QMDP, unscented transform, and Monte Carlo tree search (MCTS). It is shown that upper confidence bound (UCB) for expanding the tree results in noisy Q-value estimates by the MCTS and a degraded performance of QMDP. A modification to action selection procedure in MCTS is proposed to achieve robust performance.

연구 동기 및 목표

• 기상 조건이나 가림으로 인한 센서 노이즈, 가림, 인간의 의도 불확실성 등으로 인해 부분 관측이 발생하는 환경에서의 안전하고 쾌적한 자율주행 도전 과제 해결
• 측정치와 환경 상태의 불확실성을 명시적으로 모델링하여 안전성을 향상시키기 위한 확장 가능한 의사결정 프레임워크 개발
• 기대 결과뿐만 아니라 다양한 불확실한 시나리오에서의 보상 분산까지 추적함으로써 리스크 회피적 행동 계획 가능화
• 믿음 전파에서 유도된 노이즈가 있는 Q-값 추정치를 다룰 수 있도록 MCTS의 동작 선택을 수정하여 트리 탐색의 샘플 효율성과 강건성 향상
• 제한된 시야와 부분 관측된 융합 차량이 있는 두 가지 핵심 고속도로 주행 시나리오에서 프레임워크의 효과성 입증: 제한된 시야, 부분 관측된 융합 차량

제안 방법

• 불확실성 하에서 가치 함수를 근사하기 위해 믿음 상태에서 샘플링을 수행하고 POMDP를 해결하기 위해 QMDP 사용
• 센서 측정치(예: 속도 노이즈)에서 기인한 불확실성을 믿음 상태를 통해 전파하기 위해 스트레스 전환(시그마-포인트 샘플링) 적용, 평균과 공분산 유지
• 불확실한 상태 변수당 세 개의 시그마-포인트(평균 및 ±√2σ 변동)를 구성하여 융합 차량의 종방향 속도의 불확실성 표현
• Q-값 추정치의 분산을 고려한 리스크 회피 기준을 사용해 MCTS의 동작 선택을 수정하여 노이즈가 있는 롤아웃 결과에 대한 강건성 향상
• 다양한 시그마-포인트 실현을 고려해 장거리 계획 수평 동안 허용 가능한 모든 조작(예: 차선 유지, 차선 변경)을 평가하는 트리 탐색 수행
• α=0.01 및 ε=1을 사용한 리스크 회피 유용도 함수를 적용해 불확실성이 높을 경우 공격성을 우선시하기보다 안전성을 우선시함

실험 결과

연구 질문

• RQ1 기상 조건이나 가림으로 인한 센서 측정치의 불확실성(예: 속도 노이즈)을 효과적으로 모델링하고 전파하여 리스크 회피적 의사결정을 지원할 수 있는가?
• RQ2 노이즈가 있거나 불확실한 관측 조건에서, 분산 인식 동작 선택을 통한 수정된 MCTS가 표준 MCTS보다 얼마나 더 강건한가?
• RQ3 제한된 센서 범위가 있는 상황에서, 제안된 프레임워크가 안전성(예: 낮은 제동도)과 성능(예: 평균 속도) 사이의 균형 잡힌 트레이드오프를 달성할 수 있는가?
• RQ4 초기 측정치가 정확하지 않거나 지연되는 부분 관측된 융합 차량 상황을 어떻게 처리하는가?
• RQ5 스트레스 전환을 QMDP 및 MCTS와 통합함으로써 고차원적 불확실성 하에서 효율적이고 확장 가능한 행동 계획이 가능해지는가?

주요 결과

• RA-QMDP는 제한된 시야 시나리오에서 초기에 속도를 줄여 더 안전한 결정을 내렸으며, 융합 차량까지의 거리는 30.67m, 융합 지점에서의 시간 헤드웨이(시간 간격)는 1.41초를 기록했다. 반면 MCTS-Noisy는 15.8m와 0.54초를 기록해 위험한 상황을 초래했다.
• MCTS-Noisy는 초기 속도 추정치가 잘못되었음을 인지한 후 공격적인 감속으로 인해 높은 제동도(-6.8 m/s³)를 보였지만, RA-QMDP는 더 안정적이고 안전한 제동도 4.0 m/s³를 유지했다.
• RA-QMDP는 MCTS-Noisy(0.54초)보다 더 높은 시간 헤드웨이(1.41초)를 확보하여 불확실성 상황에서도 더 좋은 안전 마진을 확보했으며, 최종 속도는 다소 낮은 18.32 m/s(비교 대상: 20.38 m/s)를 기록했다.
• 프레임워크는 평균 추정치가 그렇지 않더라도 융합 차량이 보고된 것보다 빠를 가능성을 고려함으로써 충돌 위험을 효과적으로 완화했다.
• 리스크 회피 동작 선택을 통한 수정된 MCTS는 노이즈가 있는 Q-값 추정치로 인한 성능 저하를 줄였으며, 불확실한 조건에서 표준 MCTS를 능가하는 성능을 보였다.
• RA-QMDP는 희귀하지만 중요한 사건을 다룰 때, 높은 불확실성의 시그마-포인트에 대한 트리 탐색 경로를 할애하여 중요한 시나리오를 간과하지 않았다.