[論文レビュー] Representation by Integrating Reproducing Kernels

Thomas Hotz, Fabian J. E. Telschow|arXiv (Cornell University)|Feb 20, 2012

Neural Networks and Applications参考文献 16被引用数 3

ひとこと要約

本稿では、測度空間上のパrameter空間にわたる再生核の直接積分を用いた統合の一般枠組みを構築し、点による積分が新たな再生核ヒルベルト空間を生成することを示している。主な貢献は、メルサーカーネル、径方向基底関数のスケール混合、積分変換といった多様なカーネル構成を、一つの理論的枠組みで統一的に扱える点にあり、逆問題やサンプリング理論における新たな応用を可能にしている。

ABSTRACT

Based on direct integrals, a framework allowing to integrate a parametrised family of reproducing kernels with respect to some measure on the parameter space is developed. By pointwise integration, one obtains again a reproducing kernel whose corresponding Hilbert space is given as the image of the direct integral of the individual Hilbert spaces under the summation operator. This generalises the well-known results for finite sums of reproducing kernels; however, many more special cases are subsumed under this approach: so-called Mercer kernels obtained through series expansions; kernels generated by integral transforms; mixtures of positive definite functions; and in particular scale-mixtures of radial basis functions. This opens new vistas into known results, e.g. generalising the Kramer sampling theorem; it also offers interesting connections between measurements and integral transforms, e.g. allowing to apply the representer theorem in certain inverse problems, or bounding the pointwise error in the image domain when observing the pre-image under an integral transform.

研究の動機と目的

• 測度空間上にパrameter化された再生核の族を統合する一般化された数学的枠組みを構築すること。
• 個々のヒルベルト空間の直接積分が和算作用素の下で写像する先として得られる再生核ヒルベルト空間を特徴づけること。
• メルサーカーネル、径方向基底関数のスケール混合、積分変換を含む、既知の正定値関数の構成を統一的かつ一般化すること。
• カーネル法と積分変換、および表象定理を結びつけることで、逆問題とサンプリング理論における新たな応用を可能にすること。
• 積分変換の前像を観測する際の、像領域における点ごとの誤差の上限を導出すること。

提案手法

• 測度空間 $(\Omega, \mathcal{A}, \mu)$ 上のヒルベルト空間の直接積分を用いて、再生核ヒルベルト空間の直和の一般化を行う。
• 可測性と可積分性の条件を満たす場合に限り、点による積分により定義される統合カーネルを $K(x,y) = \int_\Omega K_\omega(x,y) \, d\mu(\omega)$ と定義し、これが有効な再生核であることを保証する。
• 得られるヒルベルト空間を、和算作用素 $S$ による直接積分 $\int_\Omega^\oplus \mathcal{H}_\omega \, d\mu$ の像として特徴づける。
• 特殊な場合として、積分変換、メルサーカーネル展開、正定値関数の混合、径方向基底関数の応用を適用する。
• 正則化された損失関数を最小化する逆問題を解くために、$\mathrm{L}_2(\Omega, \mu)$ における表象定理を用いる。
• 前像空間における補間の点ごとの誤差に対して誤差上限を導出する。この誤差は、パワー関数とカーネルノルムに依存する。

実験結果

リサーチクエスチョン

• RQ1 測度空間上にインデックス付けられた再生核の族を、どのように統合すれば新たな再生核が得られるか？
• RQ2 このような統合プロセスによって生成される再生核ヒルベルト空間の構造は何か？
• RQ3 メルサーカーネル、径方向基底関数のスケール混合、積分変換といった古典的構成は、この一般枠組みにどのように適合するか？
• RQ4 前向きマップが積分変換である場合、$\mathrm{L}_2(\Omega, \mu)$ において表象定理を逆問題に適用できるか？
• RQ5 前像空間における補間によって関数を近似する際、像領域における点ごとの誤差にどのような上限を設定できるか？

主な発見

• 族 $\{K_\omega\}$ が可測性および可積分性の条件を満たす限り、統合カーネル $K(x,y) = \int_\Omega K_\omega(x,y) \, d\mu(\omega)$ は有効な再生核である。
• 得られる再生核ヒルベルト空間は、和算作用素 $S$ による直接積分 $\int_\Omega^\oplus \mathcal{H}_\omega \, d\mu$ の像と等長同型である。
• この枠組みは有限個のカーネルの和を一般化し、積分変換、級数展開、混合による正定値関数のすべての既知の構成を包含する。
• サンプリング方程式がパrameter空間にわたるカーネルの統合から生じることを観察することで、クレーマーのサンプリング定理が一般化される。
• 逆問題において、表象定理は $\mathrm{L}_2(\Omega, \mu)$ に適用可能であり、正則化最小化問題を有限次元最適化に帰着できる。
• 点ごとの誤差上限が導出される：$|S(a)(x) - S(a_W)(x)| \leq \|a\|_{\mathcal{G}} \|P_W\|_{\mathrm{L}_2(\Omega,\mu)} \|k(x,\cdot)\|_{\mathrm{L}_2(\Omega,\mu)}$ ここで $P_W$ は補間子のパワー関数である。