[논문 리뷰] Neural Bridge Sampling for Evaluating Safety-Critical Autonomous Systems

Aman Sinha, Matthew O’Kelly외 2명|arXiv (Cornell University)|2020. 08. 24.

Adversarial Robustness in Machine Learning참고 문헌 96인용 수 13

한 줄 요약

이 논문은 안전 기준이 엄격한 자율 주행 시스템에서 위험한 사건의 확률을 효율적으로 추정하기 위해 MCMC, 기울기 기반 최적화, 신경 밀도 추정을 조합한 희귀사건 시뮬레이션 방법인 Neural Bridge Sampling을 제안한다. 안전 지표의 기울기를 사용해 중간 분포의 시퀀스를 적응적으로 탐색하고 헤시안 행렬 계산을 피름으로써, 단순 몬테카를로 방법과 기존의 적응형 시뮬레이션 기법들에 비해 뛰어난 통계적 및 계산 효율성을 달성한다.

ABSTRACT

Learning-based methodologies increasingly find applications in safety-critical domains like autonomous driving and medical robotics. Due to the rare nature of dangerous events, real-world testing is prohibitively expensive and unscalable. In this work, we employ a probabilistic approach to safety evaluation in simulation, where we are concerned with computing the probability of dangerous events. We develop a novel rare-event simulation method that combines exploration, exploitation, and optimization techniques to find failure modes and estimate their rate of occurrence. We provide rigorous guarantees for the performance of our method in terms of both statistical and computational efficiency. Finally, we demonstrate the efficacy of our approach on a variety of scenarios, illustrating its usefulness as a tool for rapid sensitivity analysis and model comparison that are essential to developing and testing safety-critical autonomous systems.

연구 동기 및 목표

• 실제 테스트가 불가능한 안전 기준이 엄격한 자율 주행 시스템에서 희귀한 위험 사건의 확률을 추정하는 과제를 해결한다.
• 실패 모드의 빈도가 낮아 실패 확률 추정에서 표본 복잡도가 떨어지는 단순 몬테카를로 방법의 단점을 극복한다.
• 헤시안 계산에 비용이 많이 들지 않는다는 점을 고려해 안전 지표의 기울기 정보를 활용해 시뮬레이션을 유도하는 방법을 개발한다.
• 복잡한 고차원 시뮬레이션 환경에서의 실패 확률 추정에 대해 엄밀한 통계적 및 계산 효율성 보장을 제공한다.
• 비정형 환경에서의 자율 주행 시스템 설계 및 검증을 위한 신속한 민감도 분석 및 모델 비교를 가능하게 한다.

제안 방법

• 안전 평가 문제를 $ p_{\beta} = \mathbb{P}_0(f(X) \leq \gamma) $ 로 공식화한다. 여기서 $ f(x) $ 는 시스템의 안전성을 측정하고 $ \gamma $ 는 실패 임계값이다.
• 기본 분포 $ P_0 $ 에서 실패 관련 분포 $ P_0 \mathbf{1}_{\{f(x) \leq \gamma\}} $ 로 이어지는 중간 분포 $ P_k $ 의 시퀀스를 만든다. 이는 온도 매개변수의 로그 단계를 사용하여 '브릿지'를 형성한다.
• 탐색을 위해 $ \nabla \log \rho_0 $ 와 이용을 위해 $ \nabla f $ 를 모두 활용하는 마르코프 체인 몬테카를로(MCMC) 샘플러를 설계하여 희귀사건 영역을 효율적으로 탐색한다.
• 비정규화된 밀도 $ \rho_k $ 를 근사하기 위해 신경 밀도 추정을 사용하여 연속된 브릿지 간의 정규화 상수 비율 $ Z_k / Z_{k-1} $ 를 추정한다. 이는 직접 통합을 피하는 데 목적을 둔다.
• 추정된 브릿지 비율의 곱을 사용하여 최종 실패 확률 추정치 $ \hat{p}_\gamma $ 를 계산함으로써 편향이 없고 분산이 감소된 추정을 보장한다.
• 헤시안 계산을 피하기 위해 $ f $ 의 1차 도함수 정보만을 활용함으로써 고차원 및 시간에 따라 변화하는 동적 시스템에 대해 확장 가능한 방법을 확보한다.

실험 결과

연구 질문

• RQ1 기울기 기반 최적화와 MCMC 샘플링을 조합한 희귀사건 시뮬레이션 방법이 안전 기준이 엄격한 시스템 평가에서 단순 몬테카를로 방법보다 뛰어난 통계적 효율성을 달성할 수 있는가?
• RQ2 헤시안 정보가 필요 없이도 신경 밀도 추정이 브릿지 샘플링 과정에서 중간 분포를 얼마나 정확하게 근사할 수 있는가?
• RQ3 기존의 적응형 시뮬레이션 및 최적화 기반 기법들과 비교해 본다면, 제안된 방법은 자율 주행 시스템의 실패 확률 추정에서 성능 면에서 어떤가?
• RQ4 이 방법은 학습 기반 자율 주행 에이전트의 시뮬레이션 환경에서 실용적인 민감도 분석 및 모델 비교를 가능하게 할 수 있는가?
• RQ5 고차원 비볼록 안전 평가 문제에서 제안된 방법의 통계적 및 계산 효율성에 대해 이론적으로 어떤 보장이 가능한가?

주요 결과

• Neural Bridge Sampling는 자율 주행 시스템에서 희귀 실패 사건을 추정할 때 효과적 표본 크기와 수렴 속도 면에서 단순 몬테카를로 방법보다 뚜렷이 뛰어나다.
• 로켓 착륙 및 자동차 레이싱 벤치마크에서, 기존 기준 대비 효과적 표본 크기에서 10배에서 100배의 향상을 달성하여 더 적은 수의 시뮬레이션으로 신뢰할 수 있는 실패율 추정이 가능해졌다.
• 자동차 레이싱 작업에서, 이 방법은 도메인 이동 조건 하에서 WorldModel 에이전트의 실패율이 약 12%임을 정확히 파악했고, AttentionAgent 는 약 4%의 실패율을 보여 직접적인 모델 비교가 가능했다.
• 고정밀 로켓 착륙 시나리오에서는 바람 방해 조건 하에서 실패 확률을 높은 정확도로 추정하여 공식 검증 민감도 분석에의 적용 가능성을 입증했다.
• 시간에 따라 변화하는 시뮬레이션과 복잡한 제어 법칙을 가진 시스템을 포함한 다양한 시스템 역학에 대해 뚜렷한 강건성을 보였으며, 헤시안 또는 2차 정보가 필요하지 않았다.
• 실험 결과는 이 방법이 학습 기반 자율 주행 시스템의 반복적 설계 및 테스트에 적합한 빠르고 확장 가능한 안전 평가를 가능하게 한다는 것을 보여주었다.