[論文レビュー] Optimal uncertainty bounds for multivariate kernel regression under bounded noise: A Gaussian process-based dual function

Amon Lahr, Anna Scampicchio+2 more|arXiv (Cornell University)|Mar 17, 2026

Gaussian Processes and Bayesian Inference被引用数 0

ひとこと要約

本論文は、Gaussian-processに基づくデュアル形式を用いた多変量カーネル回帰の分布に依存しない厳密な不確実性境界を導出し、多変量出力と楕円形ノイズへ拡張する。制約なしの最適化フレームワークを提供し、下流タスクへの統合が可能であることを示し、四旋翼機に触発されたダイナミクス学習の例でその適用を実証する。

ABSTRACT

Non-conservative uncertainty bounds are essential for making reliable predictions about latent functions from noisy data--and thus, a key enabler for safe learning-based control. In this domain, kernel methods such as Gaussian process regression are established techniques, thanks to their inherent uncertainty quantification mechanism. Still, existing bounds either pose strong assumptions on the underlying noise distribution, are conservative, do not scale well in the multi-output case, or are difficult to integrate into downstream tasks. This paper addresses these limitations by presenting a tight, distribution-free bound for multi-output kernel-based estimates. It is obtained through an unconstrained, duality-based formulation, which shares the same structure of classic Gaussian process confidence bounds and can thus be straightforwardly integrated into downstream optimization pipelines. We show that the proposed bound generalizes many existing results and illustrate its application using an example inspired by quadrotor dynamics learning.

研究の動機と目的

• 学習ベースの制御におけるノイズデータから推定された潜在的多変量関数の信頼できる不確実性評価を動機づける。
• 強い分布ノイズ仮定なしに、境界ノイズ下での多変量カーネルに基づく推定に対して厳密で決定論的な境界を提供する。
• デュアル性に基づく無制約最適化形を開発し、既存の境界を一般化するとともに下流タスクへの統合を容易にする。
• 以前のスカラー出力の結果を多変量設定および楕円ノイズ境界の交差に拡張する。
• 四旋翼機ダイナミクス学習に触発された例を通じて適用可能性を示す。

提案手法

• Gaussian process-basedなデュアル関数を介して不確実性境界を無制約最適化問題として定式化する。
• 行列値カーネルによって誘導されるRKHS内の潜在関数を表現し、ノルムとノイズ境界制約を課す。
• 楕円形ノイズ境界から構成されるノイズ共分散K^w_sigmaを用いた測定付きGP事後分布を定義する。
• 方向性境界をテスト点で f_h^sigma_bar(x_N+1) = h^T f_sigma^mu(x_N+1) + beta_sigma sqrt(h^T Sigma_sigma(x_N+1) h) として導出し、beta_sigmaはRKHSノルムとノイズ境界を捉える。
• 最適境界はノイズパラメータベクトルsigmaを最小化することで得られ、invexな目的関数を生み出す。
• 境界を既存の結果と結びつけ、無制約最適化アプローチを正当化する強い・弱いデュアリティを示す。

Figure 1: Illustrative example of proposed uncertainty bound. The top plot shows the optimal uncertainty bounds (solid), as well as the corresponding dual functions (shaded), evaluated for the optimal dual (noise) parameters $\sigma^{\star}$ at the test point $x_{N+1}=1.5$ (dotted red). The bottom t

実験結果

リサーチクエスチョン

• RQ1 boundedノイズ下での多変量カーネル回帰に対する厳密で分布に依存しない不確実性境界をどのように得るか。
• RQ2 ガウス過程に基づくデュアル形式は、スカラー出力の既存の決定論的境界を多変量設定へ再現・一般化できるか。
• RQ3 楕円ノイズ境界をスケーラブルな無制約最適化フレームワークに組み込むにはどうするか。
• RQ4 ノイズパラメータベクトルsigmaの役割は境界の引き締めにどのように寄与し、その最適化を実務的に効率よく行えるか。
• RQ5 提案する境界は、四旋翼機に触発されたダイナミクス学習のシナリオで既存境界と比較してどう機能するか。

主な発見

• Gaussian process-basedデュアル関数を介して、多変量カーネル回帰の厳密で決定論的な不確実性境界を得られ、スカラー場合の既存結果を多変量へ拡張した。
• 境界はノイズパラメータの無制約最適化として表現され、GP事後平均と共分散を含む方向性境界が閉形式で示される。
• 境界はノイズパラメータベクトルに対してinvexであり、開域でグローバル最適解を保証し、下流タスクと統合した勾配法最適化を可能にする。
• Corollary 1は、潜在関数をGP事後とスケールド・マハラノビス型誤差項で結ぶ楕円不確実性境界を提供する。
• このフレームワークは既存の複数の決定論的境界を一般化し、それらを特別なケースとして回収することで、単一のデュアリティベースのアプローチに統合する。
• 四旋翼機風の例における数値例は、境界が不確実性の包絡を引き締め、計算的にも扱いやすいことを示し、安全な学習ベースの制御・最適化の加速ポテンシャルを示唆する。

Figure 2: Proposed multivariate uncertainty bound for quadrotor example with $n_{\mathrm{data}}=10$ training points. The latent function (dashed black) is tightly bounded by the optimal uncertainty bounds evaluated for both output dimensions ( Theorem 1 ); the multivariate ellipsoidal tube is genera