[논문 리뷰] Learning Density Distribution of Reachable States for Autonomous Systems

Yue Meng, Dawei Sun외 3명|arXiv (Cornell University)|2021. 09. 14.

Machine Learning and Algorithms참고 문헌 78인용 수 4

한 줄 요약

이 논문은 리우빌 PDE를 통해 유도된 신경망을 공동으로 훈련시켜 비선형 및 블랙박스 자율 시스템의 도달 가능한 상태의 확률 밀도 분포를 학습하는 데이터 기반, 준지도 학습 방법을 제안한다. 이 방법은 온라인에서 안전성 검증을 가능하게 하며, 비안정 행동에 대한 확률적 경계를 제공함으로써 보수성(conservatism)을 감소시키고, 샘플링 기반 방법과 비교해 KL 발산에서 최대 99.89%의 오차 감소를 달성한다.

ABSTRACT

State density distribution, in contrast to worst-case reachability, can be leveraged for safety-related problems to better quantify the likelihood of the risk for potentially hazardous situations. In this work, we propose a data-driven method to compute the density distribution of reachable states for nonlinear and even black-box systems. Our semi-supervised approach learns system dynamics and the state density jointly from trajectory data, guided by the fact that the state density evolution follows the Liouville partial differential equation. With the help of neural network reachability tools, our approach can estimate the set of all possible future states as well as their density. Moreover, we could perform online safety verification with probability ranges for unsafe behaviors to occur. We use an extensive set of experiments to show that our learned solution can produce a much more accurate estimate on density distribution, and can quantify risks less conservatively and flexibly comparing with worst-case analysis.

연구 동기 및 목표

• 가장 나쁜 경우 도달 가능성 분석의 한계를 해결하기 위해, 도달 가능한 집합을 과도하게 근사하고 상태 집중 현상을 반영하지 못하는 문제를 해결한다.
• 비선형 및 블랙박스 시스템에 대해 도달 가능한 상태의 확률 밀도를 계산하는 데이터 기반 방법을 개발한다.
• 이진 안전성 결정이 아닌 확률적 위험 정량화를 통해 온라인 안전성 검증을 가능하게 한다.
• 훈련 중에 진정한 밀도 데이터가 필요 없이 밀도 진동을 학습한다.
• 샘플링 기반 방법(예: 커널 밀도 추정 및 가우시안 프로세스)과 비교해 정확도를 향상시키고 보수성을 감소시킨다.

제안 방법

• 상태 밀도 진동의 물리적 일관성을 확보하기 위해 리우빌 편미분방정식(PDE)을 활용하여 물리 기반 신경망 제약 조건으로 삼는다.
• 경로 데이터로부터 도달 가능한 상태 맵 Φ(x₀,t)와 해당 상태 밀도 ρ(x,t)를 동시에 예측하는 단일 신경망을 훈련한다.
• 모든 초기 분포에서의 밀도 변화를 승수적으로 포괄하는 밀도 집중 함수를 학습하여 다양한 초기 조건에 대한 일반화를 가능하게 한다.
• 도달 가능한 다면체 이동(RPM), 즉 ReLU-NN 도달 가능성 도구를 사용해 학습된 신경망을 다면체 집합 위의 선형 매핑으로 분해한다.
• 분해된 다면체에 대해 정방향 및 역방향 도달 가능성 분석을 수행하여 각 출력 영역에 대한 확률적 경계 [ρ_min, ρ_max]를 계산한다.
• 최종적으로 도출된 밀도 경계를 사용해 다양한 초기 분포 하에서 비안정 행동 발생 확률을 계산함으로써 동적 안전성 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터 기반 방법이 비선형 및 블랙박스 시스템에 대해 도달 가능한 상태의 확률 밀도 분포를 정확하게 추정할 수 있는가?
• RQ2 밀도 분포를 학습함으로써 가장 나쁜 경우 도달 가능성 분석 대비 보수성이 얼마나 감소하는가?
• RQ3 이 방법은 비안정 행동 발생에 대한 신뢰구간을 제공하는 확률적 안전성 검증을 가능하게 하는가?
• RQ4 진정한 밀도 레이블이 없이도 학습된 밀도 모델이 다양한 초기 상태 분포에 대해 얼마나 잘 일반화되는가?
• RQ5 이 방법은 고차원 시스템에서 상태 집중 현상을 얼마나 잘 포착하고 과잉 근사화를 방지할 수 있는가?

주요 결과

• 진정한 밀도 데이터 없이도 훈련 중에 학습된 방법은 커널 밀도 추정 및 가우시안 프로세스와 비교해 KL 발산에서 최대 99.89% 감소를 달성했다.
• 더블 인테그레이터 벤치마크에서, 이 방법은 버리시그(32.24배 증가) 및 리치엔(67.96배 증가)에서 관찰된 심각한 과잉 근사화를 피한 채, 가장 나쁜 경우 방법보다 훨씬 작고 날카로운 도달 가능한 집합을 생성했다.
• 고차원 시스템인 지상 로봇 주행 및 FACTEST 자동차 추적에서, 오직 이 방법과 셰르록만이 타임아웃 제한 내에서 도달 가능성 분석을 완료했으며, 이 방법은 더 컴act한 도달 가능한 집합을 도출했다.
• 여러 시스템에서 도달 가능한 상태의 90% 이상이 볼륨의 10% 미만인 볼륨 내에 집중되어 있었으며, 이는 가장 나쁜 경우 도달 가능성 분석의 보수성을 강력하게 보여준다.
• 다양한 초기 분포에서 안전성 확률이 크게 달라지는 것을 관찰하여, 이 방법이 위험 인식 시스템 설계를 위한 정보를 제공할 수 있음을 입증했다.
• 이 방법은 이산적 안전성 결정을 넘어서 실질적인 위험 정량화를 제공하는 확률적 결과를 바탕으로 온라인 안전성 검증을 성공적으로 구현했다.