[논문 리뷰] Learning Approximate Forward Reachable Sets Using Separating Kernels

Adam J. Thorpe, Kendric R. Ortiz외 1명|arXiv (Cornell University)|2020. 11. 19.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 5

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 내 분리 커널을 사용하여 확률적 비선형 시스템의 근사적인 전방 가용 영역을 데이터 기반으로 학습하는 방법을 제안한다. 가용성 문제를 지지도 추정 문제로 재정의하고 정규화된 최소 제곱 분류기 문제를 해결함으로써, 유한 샘플 경계를 갖는 거의 확실 수렴을 달성하며, 신경망 제어기를 갖는 시스템과 임의의 외란에 대해 효율적이고 모델 기반의 검증이 가능하다. 이는 위성 궤도 조율 및 큐드로터 벤치마크에서 낮은 계산 비용으로도 성공적으로 검증되었다.

ABSTRACT

We present a data-driven method for computing approximate forward reachable sets using separating kernels in a reproducing kernel Hilbert space. We frame the problem as a support estimation problem, and learn a classifier of the support as an element in a reproducing kernel Hilbert space using a data-driven approach. Kernel methods provide a computationally efficient representation for the classifier that is the solution to a regularized least squares problem. The solution converges almost surely as the sample size increases, and admits known finite sample bounds. This approach is applicable to stochastic systems with arbitrary disturbances and neural network verification problems by treating the network as a dynamical system, or by considering neural network controllers as part of a closed-loop system. We present our technique on several examples, including a spacecraft rendezvous and docking problem, and two nonlinear system benchmarks with neural network controllers.

연구 동기 및 목표

• 기존의 모델 기반 가용성 도구가 복잡성이나 시스템 모델 부족으로 실패하는 경우에도 적용 가능한 확장성 있고 모델 기반의 접근법을 개발함으로써, 확률적 비선형 시스템의 전방 가용 영역을 근사화하는 것.
• 볼록성이나 알려진 네트워크 구조와 같은 제한적인 가정이 필요하거나 수렴 보장이 없는 기존 데이터 기반 방법의 한계를 극복하는 것.
• 신경망을 동적 시스템으로 간주하고 커널 기반 학습을 통해 근사적인 가용 영역을 계산함으로써 신경망 검증을 가능하게 하는 것.
• 고차원 또는 복잡한 시스템에서는 비용이 너무 커져 계산이 불가능해지는 과거의 초과 근사 구간 방법에 대한 계산 효율적인 대안을 제공하는 것.
• 실제 응용에서의 성능 유지를 유지하면서도 이론적 수렴성과 유한 샘플 경계를 확보함으로써 이론적 보장을 제공하는 것.

제안 방법

• 전방 가용 영역 계산 문제를 재생 커널 힐버트 공간(RKHS) 내 지지도 추정 문제로 재정의한다.
• 정규화된 최소 제곱 최적화를 통해 가용 영역 내외의 상태를 구분하는 분류기 학습을 위한 분리 커널을 활용한다.
• 분류기는 RKHS 내 함수로 표현되어 데이터 크기에 따라 잘 스케일링되며 계산이 효율적이다.
• 커널 방법의 이론적 수렴성을 활용하여 샘플 크기가 증가함에 따라 분류기가 거의 확실하게 수렴함을 보장한다.
• 유한 샘플 경계를 유도하여 근사 오차를 정량화하고, 학습된 가용 영역에 대한 확률적 신뢰도를 제공한다.
• 시뮬레이션을 통해 궤도를 생성하고, 그 결과 데이터를 기반으로 커널 분류기를 훈련시킴으로써 임의의 확률적 외란을 갖는 시스템에 적용한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 커널 기반 방법이 임의의 외란을 갖는 확률적 비선형 시스템의 전방 가용 영역을 수렴성과 계산 효율성을 갖는 근사로 제공할 수 있는가?
• RQ2 시스템 모델이 알려져 있거나 전통적 가용성 분석에 적합하지 않은 복잡한 경우, RKHS 내 분리 커널이 가용 영역의 경계를 얼마나 잘 근사할 수 있는가?
• RQ3 특히 기존의 초과 근사 기법이 실패하는 경우에도, 신경망 제어기를 갖는 학습 기반 구성 요소를 갖는 시스템을 효과적으로 다룰 수 있는가?
• RQ4 우주선 궤도 조율 및 큐드로터 역학과 같은 고차원 비선형 시스템에서 이 방법의 계산 효율성과 정확도는 어떠한가?
• RQ5 이론적 수렴성과 유한 샘플 경계를 제공함으로써, 경험적으로 유도된 방법임에도 불구하고 이론적 보장을 제공하는가?

주요 결과

• 우주선 궤도 조율 및 도킹 문제에서 200단계의 수평에 대해 확률적 외란이 존재하는 상황에서 근사적인 전방 가용 영역을 계산하는 데 52.907초가 소요되었다.
• 신경망 제어기를 갖는 12-DOF 큐드로터 시스템에서, 50단계 수평에 대해 50개의 궤도를 사용하여 근사적인 가용 영역을 계산하는 데 12.830초가 소요되었다.
• 아핀 확률적 외란(베타 분포 및 가우시안 노이즈 포함)이 포함될 경우, 교차 단면도에서 볼 수 있듯이 더 크고 현실적인 가용 영역 근사가 이루어졌으며, 이는 실제 시스템의 특성을 잘 반영한다.
• 학습된 분류기가 가용 영역의 지지를 성공적으로 포착하였으며, 근사적인 가용 영역이 시뮬레이션된 궤도 주변에 중심을 두고 있어 높은 정밀도를 보였다.
• 이 방법은 복잡한 역학, 특히 수렴하기 전에 局부 발산을 보이는 시스템에서도 강건성을 보였으며, 구간 기반 방법이 실패하는 경우에도 유의미한 성능을 보였다.
• 실제로 이론적 수렴성이 관찰되었으며, 분류기가 거의 확실하게 수렴하고, 유한 샘플 경계가 근사 품질에 대한 신뢰도를 제공하였다.