[논문 리뷰] Data-Driven Stochastic Reachability Using Hilbert Space Embeddings.

Adam J. Thorpe, Kendric R. Ortiz외 1명|arXiv (Cornell University)|2020. 10. 15.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 4

한 줄 요약

이 논문은 확률 분포의 힐버트 공간 임bedding을 사용하여 데이터 기반 접근법을 제안하며, 임의의 외란을 가진 시스템에 대해 유한 샘플 확률적 보장을 제공하는 스토하스틱 리치러빌리티를 다룹니다. 재생 힐버트 공간(RKHS)에 확률적 커널을 임베딩함으로써, 행렬 연산과 내적을 통해 안전성 확률을 계산하며, 통계학적 학습 이론을 활용해 이론적 경계를 도출합니다. 이는 신경망으로 제어되는 진자 시스템에서 검증되었습니다.

ABSTRACT

We compute finite sample bounds for approximations of the solution to stochastic reachability problems computed using kernel distribution embeddings, a non-parametric machine learning technique. Our approach enables assurances of safety from observed data, through construction of probabilistic violation bounds on the computed stochastic reachability probability. By embedding the stochastic kernel of a Markov control process in a reproducing kernel Hilbert space, we can compute the safety probabilities for systems with arbitrary disturbances as simple matrix operations and inner products. We present finite sample bounds for the approximation using elements from statistical learning theory. We numerically evaluate the approach, and demonstrate its efficacy on neural net-controlled pendulum system.

연구 동기 및 목표

• 관측된 데이터만을 사용하여 비모수적 가정 없이 스토하스틱 제어 시스템의 안전성 검증을 가능하게 하기 위해.
• 시스템 외란이 임의적이고 알려지지 않은 상황에서 신뢰할 수 있는 리치러빌리티 확률을 계산하는 데 도전하는 것.
• 경험 데이터로부터 유도된 리치러빌리티 확률의 근사 오차에 대해 유한 샘플 확률적 경계를 제공하기 위해.
• 커널 방법 기반의 계산 효율적인 프레임워크를 개발하여 복잡한 스토하스틱 동역학을 행렬 연산으로 변환하기 위해.

제안 방법

• 커널 분포 임베딩을 사용하여 마코프 제어 과정의 확률적 커널을 재생 힐버트 공간(RKHS)에 임베딩하기.
• 시스템의 전이 확률을 RKHS의 원소로 표현함으로써 데이터로부터 비모수적 추정 가능하게 하기.
• 리치러빌리티 확률을 RKHS 내의 내적으로 계산하여 문제를 경험 데이터에 대한 행렬 연산으로 환원하기.
• 특히 커버링 수 기반 일반화 경계를 활용한 통계학적 학습 이론 도구를 사용해 근사 오차에 대한 유한 샘플 경계 유도하기.
• 성능과 강건성을 평가하기 위해 신경망으로 제어되는 진자 시스템에 이 방법 적용하기.
• 계산된 리치러빌리티 확률에 대한 확률적 위반 경계를 구성함으로써 이론적 안전 보장을 확보하기.

실험 결과

연구 질문

• RQ1 커널 기반의 힐버트 공간 임베딩이 신뢰할 수 있고 데이터 기반의 리치러빌리티 확률 근사치를 제공할 수 있으며, 이에 대해 유한 샘플 보장을 갖출 수 있는가?
• RQ2 경험 데이터와 비모수적 커널 방법을 사용할 때 리치러빌리티 확률의 근사 오차를 어떻게 경계할 수 있는가?
• RQ3 이 방법이 스토하스틱 제어 시스템에서 임의의 비모수적 외란을 얼마나 잘 다룰 수 있는가?
• RQ4 신경망으로 제어되는 비선형 고차원 시스템과 같은 환경에서 이 방법은 어떻게 확장되고 성능을 발휘하는가?
• RQ5 특정 모수적 형태의 시스템 노이즈나 전이 동역학을 가정하지 않고도 이 접근법이 확률적 안전 보장을 제공할 수 있는가?

주요 결과

• 계산된 리치러빌리티 확률의 오차에 대해 유한 샘플 확률적 경계를 달성하여 경험 데이터로부터 엄밀한 안전 보장을 가능하게 함.
• 리치러빌리티 확률을 RKHS 내의 내적과 행렬 연산만으로 효율적으로 계산함으로써 복잡한 수치적 적분을 피함.
• 이 방법은 노이즈 분포에 대한 모수적 가정이 필요 없기 때문에 임의의 외란을 가진 시스템에 적용 가능함.
• 신경망으로 제어되는 진자 시스템에서의 수치적 평가를 통해 이 방법의 유효성과 실용성은 비선형 고차원 환경에서 입증됨.
• 통계학적 학습 이론의 커버링 수 기반 경계를 활용해 이론적 보장을 도출함으로써 제한된 데이터 상황에서도 신뢰성 확보됨.