[論文レビュー] Interpolation with uncoupled separable matrix-valued kernels

Dominik Wittwar, Gabriele Santin+1 more|arXiv (Cornell University)|Jul 24, 2018

Model Reduction and Neural Networks参考文献 3被引用数 18

ひとこと要約

本稿では、一般化されたパワー関数を用いた事前誤差推定を可能にする、ベクトル値関数補間のための新しいクラスの分離可能な行列値カーネルを導入する。主な貢献は、この部分クラスにおいて行列値パワー関数がスカラー値パワー関数に簡略化されることを示したことであり、これにより誤差境界の効率的算出が可能となり、成分間相関を捉えることで近似精度が向上する。人工データ上での実験により、成分別処理手法に比べて顕著な性能向上が確認された。

ABSTRACT

In this paper we consider the problem of approximating vector-valued functions over a domain $Ω$. For this purpose, we use matrix-valued reproducing kernels, which can be related to Reproducing kernel Hilbert spaces of vectorial functions and which can be viewed as an extension to the scalar-valued case. These spaces seem promising, when modelling correlations between the target function components, as the components are not learned independently of one another. We focus on the interpolation with such matrix-valued kernels. We derive error bounds for the interpolation error in terms of a generalized power-function and we introduce a subclass of matrix-valued kernels whose power-functions can be traced back to the power-function of scalar-valued reproducing kernels. Finally, we apply these kind of kernels to some artificial data to illustrate the benefit of interpolation with matrix-valued kernels in comparison to a componentwise approach.

研究の動機と目的

• 成分間の相関を捉えることができる、行列値再生核ヒルベルト空間（RKHS）を用いたベクトル値関数補間のフレームワークの構築を目的とする。
• 行列値設定における一般化されたパワー関数を用いた、補間の事前誤差境界の導出を目的とする。
• パワー関数がスカラー値パワー関数に簡略化されるような、行列値カーネルの部分クラス（分離可能な非結合的カーネル）の同定を目的とする。
• 数値実験を通じて、成分間相関が存在する状況下で、行列値カーネルが成分別スカラー近似法を上回る精度を達成することを示す。

提案手法

• 本稿では、$ \Omega \times \Omega \to \mathbb{R}^{m \times m} $ である正定値関数 $ k $ として行列値カーネルを定義し、$ k(x,y) = k(y,x)^T $ を満たす対称性を持つことにより、$ \mathbb{R}^m $-RKHS の基盤を形成する。
• 補間における事前誤差推定の主要なツールとして、パワー関数 $ \mathcal{P}_k(x) = \|k(\cdot,x)\|_{\mathcal{H}}^2 $ の概念を導入する。
• 非結合的分離可能な行列値カーネルの新しい部分クラスを提案し、$ k(x,y) = \sum_{i=1}^m k_i(x_i,y_i) \otimes e_i e_i^T $ と表される。ここで $ k_i $ はスカラー値カーネルである。
• この部分クラスにおいて、行列値パワー関数がスカラーパワー関数の和に分解されることを示した：$ \mathcal{P}_k(x) = \sum_{i=1}^m \mathcal{P}_{k_i}(x_i) $。
• 補間誤差はパワー関数を用いて $ \|f - \Pi_{\mathcal{N}(X)}f\|_{\infty} \leq \|\mathcal{P}_k(x)\|_{\infty} \|f\|_{\mathcal{H}} $ と境界づけられる。
• 100個のランダムな中心点を有する2次元領域上で、$ \ell^2 $、$ \ell^\infty $、$ \ell^1 $ のノルムを用いて、行列値およびスカラー値補間を比較する数値的検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 成分間相関が存在する状況で、行列値カーネルは成分別スカラー手法よりも優れた補間精度を提供できるか？
• RQ2 一般化されたパワー関数を用いた行列値カーネル補間のための事前誤差境界をどのように導出できるか？
• RQ3 行列値カーネルのどのような構造的性質が、パワー関数をスカラー値パワー関数に簡略化可能にするか？
• RQ4 非結合的分離可能カーネルの提案部分クラスは、標準的な行列値カーネルの理論的保証を維持しながら、計算の効率化を可能にするか？

主な発見

• 非結合的分離可能な行列値カーネルとして提案されたクラスにより、行列値パワー関数がスカラーパワー関数の和として表現可能となり、効率的かつ解釈可能な誤差推定が可能となった。
• 数値実験の結果、$ \ell^2 $、$ \ell^\infty $、$ \ell^1 $ のノルムにおいて、行列値カーネル補間が成分別スカラー近似法に比べて顕著に低い最大点誤差を達成した。
• パワー関数を用いて導出した誤差境界は有効かつ計算可能であり、中心点数が増加するに従い、$ \Delta_2^1 $ および $ \Delta_\infty^1 $ が実際の補間誤差をよく追跡した。
• 結果から、異なる周波数を有する成分間の相関を行列値カーネルでモデル化することで、特に優れたサロゲートモデルが得られることを示した。