[论文解读] Interpolation with uncoupled separable matrix-valued kernels

Dominik Wittwar, Gabriele Santin+1 more|arXiv (Cornell University)|Jul 24, 2018

Model Reduction and Neural Networks参考文献 3被引用 18

一句话总结

本文提出了一类新型的解耦可分矩阵值核函数，用于向量值函数插值，通过广义幂函数实现先验误差估计。关键贡献在于证明：对于该子类，矩阵值幂函数可简化为标量值幂函数，从而实现高效误差界估计，并通过捕捉分量间的相关性，显著提升近似精度。在人工数据上的实验表明，与分量独立方法相比，性能显著提升。

ABSTRACT

In this paper we consider the problem of approximating vector-valued functions over a domain $Ω$. For this purpose, we use matrix-valued reproducing kernels, which can be related to Reproducing kernel Hilbert spaces of vectorial functions and which can be viewed as an extension to the scalar-valued case. These spaces seem promising, when modelling correlations between the target function components, as the components are not learned independently of one another. We focus on the interpolation with such matrix-valued kernels. We derive error bounds for the interpolation error in terms of a generalized power-function and we introduce a subclass of matrix-valued kernels whose power-functions can be traced back to the power-function of scalar-valued reproducing kernels. Finally, we apply these kind of kernels to some artificial data to illustrate the benefit of interpolation with matrix-valued kernels in comparison to a componentwise approach.

研究动机与目标

• 开发一种基于矩阵值再生核希尔伯特空间（RKHS）的向量值函数插值框架，以捕捉分量间的相关性。
• 在矩阵值设定下，利用广义幂函数推导插值的先验误差界。
• 识别一类矩阵值核函数的子类——解耦可分核函数，其幂函数可简化为标量值幂函数，从而实现可计算的误差估计。
• 通过数值实验表明，当分量间存在相关性时，矩阵值核函数在精度上优于分量独立的标量近似方法。

提出的方法

• 本文将矩阵值核函数定义为满足对称性 $ k: \Omega \times \Omega \to \mathbb{R}^{m \times m} $ 的正定函数，且 $ k(x,y) = k(y,x)^T $，构成 $ \mathbb{R}^m $-RKHS 的基础。
• 引入幂函数 $ \mathcal{P}_k(x) = \|k(\cdot,x)\|_{\mathcal{H}}^2 $ 作为插值中先验误差估计的关键工具。
• 提出一类新的解耦可分矩阵值核函数子类，其形式为 $ k(x,y) = \sum_{i=1}^m k_i(x_i,y_i) \otimes e_i e_i^T $，其中 $ k_i $ 为标量值核函数。
• 对于该子类，证明了矩阵值幂函数可分解为标量幂函数之和：$ \mathcal{P}_k(x) = \sum_{i=1}^m \mathcal{P}_{k_i}(x_i) $。
• 通过幂函数建立插值误差界：$ \|f - \Pi_{\mathcal{N}(X)}f\|_{\infty} \leq \|\mathcal{P}_k(x)\|_{\infty} \|f\|_{\mathcal{H}} $。
• 在包含100个随机中心的二维区域上进行数值验证，采用 $ \ell^2 $、$ \ell^\infty $ 和 $ \ell^1 $ 范数比较矩阵值与标量值插值方法。

实验结果

研究问题

• RQ1 当分量间存在相关性时，矩阵值核函数是否能提供优于分量独立标量方法的插值精度？
• RQ2 如何在矩阵值核插值中，利用广义幂函数推导先验误差界？
• RQ3 矩阵值核函数的何种结构特性可使幂函数简化为标量值幂函数？
• RQ4 所提出的解耦可分核函数子类是否在保持标准矩阵值核函数理论保证的同时，实现高效计算？

主要发现

• 所提出的解耦可分矩阵值核函数类使得矩阵值幂函数可表示为标量幂函数之和，从而实现高效且可解释的误差估计。
• 数值实验表明，矩阵值核插值在 $ \ell^2 $、$ \ell^\infty $ 和 $ \ell^1 $ 范数下，其最大点态误差显著低于分量独立的标量近似方法。
• 通过幂函数导出的误差界具有有效性且可计算，且随着中心点数量增加，$ \Delta_2^1 $ 和 $ \Delta_\infty^1 $ 与实际插值误差高度吻合。
• 结果表明，通过矩阵值核函数建模分量间相关性可获得更优的代理模型，尤其在分量具有不同结构特性（如不同频率）时表现更优。