[论文解读] Learning linear operators: Infinite-dimensional regression as a well-behaved non-compact inverse problem

Mattes Mollenhauer, Nicole Mücke+1 more|arXiv (Cornell University)|Nov 16, 2022

Numerical methods in inverse problems被引用 5

一句话总结

该论文通过预复合算子将无穷维线性回归表述为非紧致逆问题，证明在谱正则化下其与紧致逆问题具有谱等价性。利用大数集中律与核回归技术，该研究在霍尔德型源条件假设下建立了学习算子的无维收敛速率，其结果与函数型及算子值核回归中的经典标量响应速率一致。

ABSTRACT

We consider the problem of learning a linear operator $θ$ between two Hilbert spaces from empirical observations, which we interpret as least squares regression in infinite dimensions. We show that this goal can be reformulated as an inverse problem for $θ$ with the feature that its forward operator is generally non-compact (even if $θ$ is assumed to be compact or of $p$-Schatten class). However, we prove that, in terms of spectral properties and regularisation theory, this inverse problem is equivalent to the known compact inverse problem associated with scalar response regression. Our framework allows for the elegant derivation of dimension-free rates for generic learning algorithms under Hölder-type source conditions. The proofs rely on the combination of techniques from kernel regression with recent results on concentration of measure for sub-exponential Hilbertian random variables. The obtained rates hold for a variety of practically-relevant scenarios in functional regression as well as nonlinear regression with operator-valued kernels and match those of classical kernel regression with scalar response.

研究动机与目标

• 解决从经验数据中学习无穷维希尔伯特空间之间线性算子的挑战。
• 将无穷维最小二乘回归重新表述为涉及非紧致前向算子的逆问题。
• 证明该非紧致逆问题在正则化理论中与紧致逆问题具有谱等价性。
• 在霍尔德型源条件假设下，为通用学习算法推导无维收敛速率。
• 统一分析函数型回归、算子值核函数与条件均值嵌入，构建单一理论框架。

提出的方法

• 利用预复合算子 $ A_{C_{XX}}[\theta] = \theta C_{XX} $，将无穷维回归问题重新表述为逆问题，其中 $ C_{XX} $ 为 $ X $ 的协方差算子。
• 证明非紧致算子 $ A_{C_{XX}} $ 的谱与紧致算子 $ C_{XX} $ 的谱一致，从而可应用谱正则化技术。
• 应用希尔伯特空间子指数随机变量的大数集中律，以控制经验协方差算子及其逆算子。
• 采用Tikhonov-Phillips正则化方法，引入正则化参数 $ \alpha $，并利用 $ \| (C_{XX} + \alpha)^{-1} C_{XX} \|_{L(\mathcal{X})} \leq 1 $ 的有界性。
• 利用高斯尾部与次高斯尾部不等式，推导出希尔伯特-施密特范数下残差算子范数的高概率界。
• 建立该非紧致逆问题正则化理论与经典紧致逆问题之间的等价性，从而实现无维收敛速率。

实验结果

研究问题

• RQ1 尽管前向算子非紧致，无穷维线性回归能否被重新表述为适定的逆问题？
• RQ2 预复合算子 $ A_{C_{XX}} $ 的谱结构是否允许使用通常应用于紧致逆问题的正则化技术？
• RQ3 在霍尔德型源条件假设下，学习无穷维希尔伯特空间中线性算子的收敛速率为何？
• RQ4 能否在此框架下实现函数型与算子值核回归中的无维收敛速率？
• RQ5 经验算子分解问题的解与回归风险真实最小化解之间有何关系？

主要发现

• 非紧致预复合算子 $ A_{C_{XX}} $ 的谱与紧致协方差算子 $ C_{XX} $ 的谱完全一致，从而支持谱正则化。
• 尽管 $ A_{C_{XX}} $ 非紧致，但由于谱等价性，其逆问题可如紧致问题一般正则化。
• 在霍尔德型源条件假设下，为通用学习算法推导出无维收敛速率，其结果与经典核回归速率一致。
• 以高概率 $ 1 - \delta $，残差算子范数满足 $ \| (\theta_* \widehat{C}_{XX} - \widehat{C}_{YX})(C_{XX} + \alpha)^{-1/2} \|_{S_2} \leq \frac{16\sqrt{2}eB_{\psi_2}}{\sqrt{\alpha}} \sqrt{\frac{\log(1/\delta)}{n}} $，其中 $ B_{\psi_2} $ 依赖于算子与次高斯范数。
• 该框架可统一适用于函数型回归、算子值核函数与条件均值嵌入，提供统一的理论基础。
• 理论界通过子指数希尔伯特空间随机变量的大数集中律推导得出，确保在弱矩假设下的鲁棒性。