[論文レビュー] A New Distribution-Free Concept for Representing, Comparing, and Propagating Uncertainty in Dynamical Systems with Kernel Probabilistic Programming

Jia‐Jie Zhu, Krikamol Muandet+2 more|arXiv (Cornell University)|Nov 25, 2019

Probabilistic and Robust Engineering Design参考文献 19被引用数 4

ひとこと要約

本稿では、再帰的再生核ヒルバート空間（RKHS）におけるカーネル平均埋め込みを用いて、動的システムにおける不確実性の表現、比較、および伝播に関して、パrametricな分布族を仮定しない枠組みを提案する。確率分布をRKHSに埋め込むことで、パrametricな家族を仮定せずに不確実性の代数的演算が可能となり、主な貢献として、効率的な不確実性伝播のための再帰的リダクション集合アルゴリズムと、分布に関する仮定なしに統一的なメトリックによるモデル比較が含まれる。

ABSTRACT

This work presents the concept of kernel mean embedding and kernel probabilistic programming in the context of stochastic systems. We propose formulations to represent, compare, and propagate uncertainties for fairly general stochastic dynamics in a distribution-free manner. The new tools enjoy sound theory rooted in functional analysis and wide applicability as demonstrated in distinct numerical examples. The implication of this new concept is a new mode of thinking about the statistical nature of uncertainty in dynamical systems.

研究の動機と目的

• ガウス分布のようなパラメトリックな家族を仮定しない、確率的動的システムにおける不確実性表現のための分布フリーなアプローチを開発すること。
• 分布に関する仮定なしに、RKHS内のメトリックを用いて、状態分布に基づいてシステムモデルを定量的に比較すること。
• モンテカルロ法で一般的に見られるサンプル数の指数的増加を回避し、非線形かつ非ガウス分布のシステムにおいて、時間経過に伴う不確実性伝播のスケーラブルな手法を提供すること。
• カーネル法と確率プログラミングに根ざした一貫した関数解析的枠組みの下で、不確実性の表現、比較、伝播を統合すること。
• 非線形ダイナミクスと非ガウスノイズを含む数値例を通じて、本手法の適用可能性を示し、LSQ や PVE といった従来手法に比べて、モデル適合において優れた性能を示す。

提案手法

• システムの状態の確率分布を、カーネル平均埋め込み（KME）を用いて再帰的再生核ヒルバート空間（RKHS）の要素として表現することで、不確実性の非パラメトリック表現を可能にする。
• RKHSメトリックを用いて、状態分布の埋め込み同士の距離を測定することで、パラメトリックな仮定なしにシステムモデルを定量的に比較する。
• 固定サイズのサポートポイント（リダクション集合）を維持し、各時刻ステップで全分布埋め込みを近似するための二次計画問題を解くことで、不確実性を再帰的に伝播する。
• 計算コストを制御しながら精度を維持するために、反復的にカーネル展開係数を更新する再帰的リダクション集合アルゴリズム（アルゴリズム2）を適用する。
• KMEの統計的収束性の結果を活用し、標本サイズが増加するにつれて埋め込み分布が真の分布に収束することを保証する。
• 数値実験では、モデル比較および誤差評価のため、バンド幅0.5のガウスカーネルを用いる。

実験結果

リサーチクエスチョン

• RQ1 非線形的かつ非ガウス的動的システムにおける不確実性は、特定のパラメトリックな家族を仮定せずに、どのように表現できるか？
• RQ2 異なる動的システムモデルの統計的挙動を比較するための分布フリーなメトリックとは何か？
• RQ3 サンプル数の指数的増加を回避しながら、時間経過に伴う不確実性伝播を計算的に効率的に行うことは可能か？
• RQ4 提案された再帰的リダクション集合手法の近似誤差は、標準的なモンテカルロ法や対角推定法と比較して、RKHS内での誤差の観点からどのように評価されるか？
• RQ5 カーネル確率プログラミングは、制御およびシステム同定タスクにおける不確実性の取り扱いをどの程度統合的に可能にするか？

主な発見

• 提案手法により、RKHS距離に基づく分布フリーなモデル比較が可能となり、図5ではPVEで推定されたモデル（赤）がLSQで推定されたモデル（黒）よりも真のモデルに近い距離に位置していることが示された。
• 再帰的リダクション集合アルゴリズム（アルゴリズム2）は、対角推定（アルゴリズム1）と比較して、近似誤差の収束が速く、図6（右）に示すように10回のランで平均および分散の両方が低い誤差を達成した。
• 本手法は、非定常的かつ非ガウス的システム（時間変動する平均を持つ一様ノイズ）においても、不確実性を効果的に伝播でき、任意で複雑なノイズ分布に対してもロバストであることが示された。
• カーネル埋め込みフレームワークにより、特定の分布族を仮定せずに定量的なモデル評価が可能となり、PVEとLSQといった不確実性表現が異なるモデル間の公平な比較が可能になった。
• RKHSメトリックにおける近似誤差、$\|\hat{\mu}_{\tilde{x}_t} - \mu_{x_t}\|_{\mathcal{H}}^2$ は、再帰的リダクション集合手法を用いることで顕著に低減され、時間発展する状態分布の表現精度が向上していることが示された。
• 数値結果により、本手法が固定サイズの展開を維持することで、長時間スパンのシミュレーションにおけるサンプル集合の増大に伴う計算負荷を回避しながらも、精度を維持していることが確認された。