[논문 리뷰] A New Distribution-Free Concept for Representing, Comparing, and Propagating Uncertainty in Dynamical Systems with Kernel Probabilistic Programming

Jia‐Jie Zhu, Krikamol Muandet외 2명|arXiv (Cornell University)|2019. 11. 25.

Probabilistic and Robust Engineering Design참고 문헌 19인용 수 4

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 내에서 커널 평균 임베딩을 사용하여 동적 시스템 내의 불확실성 표현, 비교 및 전파를 위한 분포 자유 프레임워크를 제안한다. 확률 분포를 RKHS에 임베딩함으로써, 파라미터 가정 없이도 불확실성에 대한 대수적 연산을 가능하게 하며, 주요 기여로는 효율적인 불확실성 전파를 위한 재귀적 감소집합 알고리즘과 분포 가정 없이 통합된 거리 척도를 제공한다.

ABSTRACT

This work presents the concept of kernel mean embedding and kernel probabilistic programming in the context of stochastic systems. We propose formulations to represent, compare, and propagate uncertainties for fairly general stochastic dynamics in a distribution-free manner. The new tools enjoy sound theory rooted in functional analysis and wide applicability as demonstrated in distinct numerical examples. The implication of this new concept is a new mode of thinking about the statistical nature of uncertainty in dynamical systems.

연구 동기 및 목표

• 특정 파라미터 가족(예: 정규분포)을 가정하지 않고 확률적 동적 시스템 내 불확실성 표현을 위한 분포 자유 접근법을 개발하기 위해.
• 분포 가정 없이도 상태 분포 간의 거리 척도를 사용하여 시스템 모델 간의 정량적 비교를 가능하게 하기 위해.
• 몬테카를로 방법에서 흔히 발생하는 표본 수의 기하급수적 증가를 피하면서도 비선형 및 비정규 분포 시스템에서 시간에 따라 불확실성 전파를 스케일러블하게 수행하기 위해.
• 커널 방법과 확률 프로그래밍에 기반한 기능 해석 프레임워크 내에서 불확실성 표현, 비교 및 전파를 통합하기 위해.
• 비선형 역학과 비정규 노이즈를 포함한 수치 예제를 통해 제안된 방법의 적용 가능성을 입증하고, LSQ 및 PVE와 같은 전통적 방법보다 모델 피팅 성능이 뛰어나다는 것을 보여주기 위해.

제안 방법

• 시스템 상태의 확률 분포를 커널 평균 임베딩(KME)를 통해 재생 커널 힐버트 공간(RKHS)의 원소로 표현함으로써, 파라미터 가정 없이도 불확실성의 비모수적 표현을 가능하게 한다.
• RKHS 거리 척도를 사용하여 시스템 모델 간의 정량적 비교를 수행함으로써, 임베딩된 상태 분포 간의 거리를 측정함으로써 분포 가정 없이도 비교를 수행한다.
• 고정된 크기의 지지점 집합(감소집합)을 유지하면서 매 시간 단계에서 전체 분포 임베딩을 근사하기 위해 재귀적 방법으로 불확실성 전파를 수행한다.
• 재귀적 감소집합 알고리즘(알고리즘 2)을 적용하여 반복적으로 커널 전개 계수를 갱신함으로써 정확도를 유지하면서도 계산 비용을 통제한다.
• KME의 통계적 일致성 결과를 활용하여 표본 수가 증가할수록 임베딩된 분포가 진짜 분포로 수렴하도록 보장한다.
• 수치 실험에서 RKHS 거리 계산 및 오차 평가를 위해 가우시안 커널을 사용하고, 밴드폭를 0.5로 설정한다.

실험 결과

연구 질문

• RQ1 비선형 및 비정규 동적 시스템 내에서 특정 파라미터 가정 없이 불확실성을 어떻게 표현할 수 있는가?
• RQ2 다른 동적 시스템 모델의 통계적 행동을 비교하기 위한 분포 자유 거리 척도는 무엇인가?
• RQ3 표본 수가 기하급수적으로 증가하는 것을 피하면서도 시간에 따라 불확실성을 계산적으로 효율적으로 전파할 수 있는가?
• RQ4 제안된 재귀적 감소집합 방법의 근사 오차는 표준 몬테카를로 방법 및 대각 추정 방법과 비교해 볼 때 어떻게 되는가?
• RQ5 커널 확률 프로그래밍은 제어 및 시스템 식별 작업에서 불확실성 처리를 얼마나 잘 통합할 수 있는가?

주요 결과

• 제안된 방법은 커널 임베딩 간의 RKHS 거리를 사용하여 분포 가정 없이 시스템 모델 간 비교를 가능하게 하며, 그림 5에 따르면 PVE로 추정한 모델(빨간색)이 진짜 모델에 더 가까운 거리를 기록하는 것으로 나타났다.
• 재귀적 감소집합 알고리즘(알고리즘 2)은 대각 추정(알고리즘 1)보다 근사 오차에서 더 빠른 수렴을 보였으며, 그림 6(오른쪽)에서 10회 시행 동안 평균 및 분산 오차가 낮게 나타났다.
• 이 방법은 비정상적이고 비정규 분포인 시스템(시간에 따라 변화하는 평균을 가진 균일 노이즈)에서도 불확실성을 성공적으로 전파하며, 임의의 복잡한 노이즈 분포에 대해 강건함을 입증했다.
• 커널 임베딩 프레임워크를 통해 특정 분포 가정 없이도 정량적 모델 평가가 가능해져, PVE와 LSQ와 같은 서로 다른 불확실성 표현 방식을 가진 모델 간의 공정한 비교가 가능해졌다.
• RKHS 거리 척도에서의 근사 오차, $\|\hat{\mu}_{\tilde{x}_t} - \mu_{x_t}\|_{\mathcal{H}}^2$, 는 재귀적 감소집합 방법을 통해 크게 감소되었으며, 이는 시간에 따라 변화하는 상태 분포를 더 정확하게 표현할 수 있음을 시사한다.
• 수치 결과는 장기 시뮬레이션에서 표본 수가 증가하는 것을 피하면서도 고정 크기의 전개를 유지함으로써 정확도를 유지함을 확인했다.