[論文レビュー] Learning linear operators: Infinite-dimensional regression as a well-behaved non-compact inverse problem

Mattes Mollenhauer, Nicole Mücke+1 more|arXiv (Cornell University)|Nov 16, 2022

Numerical methods in inverse problems被引用数 5

ひとこと要約

本稿は、前処理作用素を介して無限次元線形回帰を非コンパクトな逆問題として定式化し、スペクトル正則化のもとでコンパクトな逆問題とスペクトル的に同等であることを証明する。濃縮測度とカーネル回帰技術を用いて、ホルダー型のソース条件のもとで学習作用素の次元に依存しない収束速度を確立し、関数的および作用素値カーネル回帰における古典的なスカラー応答のレートと一致する。

ABSTRACT

We consider the problem of learning a linear operator $θ$ between two Hilbert spaces from empirical observations, which we interpret as least squares regression in infinite dimensions. We show that this goal can be reformulated as an inverse problem for $θ$ with the feature that its forward operator is generally non-compact (even if $θ$ is assumed to be compact or of $p$-Schatten class). However, we prove that, in terms of spectral properties and regularisation theory, this inverse problem is equivalent to the known compact inverse problem associated with scalar response regression. Our framework allows for the elegant derivation of dimension-free rates for generic learning algorithms under Hölder-type source conditions. The proofs rely on the combination of techniques from kernel regression with recent results on concentration of measure for sub-exponential Hilbertian random variables. The obtained rates hold for a variety of practically-relevant scenarios in functional regression as well as nonlinear regression with operator-valued kernels and match those of classical kernel regression with scalar response.

研究の動機と目的

• 無限次元ヒルベルト空間間の線形作用素を、経験的データから学ぶという課題に対処すること。
• 非コンパクトな前向き作用素を含む、無限次元最小二乗回帰を逆問題として再定式化すること。
• この非コンパクトな逆問題が、正則化理論におけるコンパクトな逆問題とスペクトル的に同等であることを確立すること。
• ホルダー型のソース条件の下で、一般的な学習アルゴリズムの次元に依存しない収束速度を導出すること。
• 関数的回帰、作用素値カーネル、および条件付き平均埋め込みの分析を、単一の理論的枠組みで統合すること。

提案手法

• 前処理作用素 $ A_{C_{XX}}[\theta] = \theta C_{XX} $ を用いて、無限次元回帰問題を逆問題として再定式化する。ここで $ C_{XX} $ は $ X $ の共分散作用素である。
• 非コンパクト作用素 $ A_{C_{XX}} $ のスペクトルが、コンパクト作用素 $ C_{XX} $ のスペクトルと一致することを証明し、スペクトル正則化技術の適用を可能にする。
• ヒルベルト空間上のサブ指数的確率変数に対する濃縮測度を適用し、経験的共分散作用素およびその逆作用素を制御する。
• 罰則パラメータ $ \alpha $ を用いたチホノフ–フィリップス正則化を適用し、$ \| (C_{XX} + \alpha)^{-1} C_{XX} \|_{L(\mathcal{X})} \leq 1 $ の有界性を活用する。
• ヒルベルト＝シュミットノルムにおけるサブガウスおよびサブ指数的尾部不等式を用いて、残差作用素ノルムの高確率的バインディングを導出する。
• この非コンパクトな逆問題の正則化理論が、古典的なコンパクトな逆問題と同等であることを確立し、次元に依存しないレートの実現を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非コンパクトな前向き作用素を有するにもかかわらず、無限次元線形回帰を正則な逆問題として再定式化できるか？
• RQ2 前処理作用素 $ A_{C_{XX}} $ のスペクトル構造は、通常コンパクトな逆問題に用いられる正則化技術の適用を可能にするか？
• RQ3 ホルダー型のソース条件の下で、無限次元ヒルベルト空間における線形作用素の学習の収束速度は何か？
• RQ4 この枠組みを用いて、関数的および作用素値カーネル回帰において次元に依存しないレートを達成できるか？
• RQ5 作用素因子分解問題の経験的解は、回帰リスクの真の最小化子とどのように関係しているか？

主な発見

• 非コンパクトな前処理作用素 $ A_{C_{XX}} $ のスペクトルは、コンパクトな共分散作用素 $ C_{XX} $ のスペクトルと同一であり、スペクトル正則化が可能になる。
• $ A_{C_{XX}} $ が非コンパクトであるにもかかわらず、スペクトル的同等性のおかげで、それがコンパクトな場合と同様に正則化可能である。
• ホルダー型のソース条件の下で、一般的な学習アルゴリズムの次元に依存しない収束速度が導出され、古典的なカーネル回帰のレートと一致する。
• 高確率 $ 1 - \delta $ において、残差作用素ノルムが $ \| (\theta_* \widehat{C}_{XX} - \widehat{C}_{YX})(C_{XX} + \alpha)^{-1/2} \|_{S_2} \leq \frac{16\sqrt{2}eB_{\psi_2}}{\sqrt{\alpha}} \sqrt{\frac{\log(1/\delta)}{n}} $ を満たす。ここで $ B_{\psi_2} $ は作用素およびサブガウスノルムに依存する。
• この枠組みは、関数的回帰、作用素値カーネル、および条件付き平均埋め込みに一様に適用可能であり、統一された理論的基盤を提供する。
• 弱いモーメント仮定のもとで頑健性を保証するため、サブ指数的ヒルベルト空間確率変数に対する濃縮測度を用いて理論的バインディングを導出する。