[论文解读] A Machine Learning Approach to Optimal Tikhonov Regularisation I: Affine Manifolds

Ernesto De Vito, Massimo Fornasier+1 more|arXiv (Cornell University)|Oct 6, 2016

Numerical methods in inverse problems参考文献 7被引用 3

一句话总结

本文提出了一种监督机器学习方法，用于在假设解位于仿射流形上且噪声为次高斯分布的前提下，确定反问题中Tikhonov正则化参数的最优值。证明了所需训练样本数量与解子空间维度呈线性关系，并为学习得到的参数及其对应的解提供了明确的误差界。

ABSTRACT

Despite a variety of available techniques the issue of the proper regularization parameter choice for inverse problems still remains one of the biggest challenges. The main difficulty lies in constructing a rule, allowing to compute the parameter from given noisy data without relying either on a priori knowledge of the solution or on the noise level. In this paper we propose a novel method based on supervised machine learning to approximate the high-dimensional function, mapping noisy data into a good approximation to the optimal Tikhonov regularization parameter. Our assumptions are that solutions of the inverse problem are statistically distributed in a concentrated manner on (lower-dimensional) linear subspaces and the noise is sub-gaussian. One of the surprising facts is that the number of previously observed examples for the supervised learning of the optimal parameter mapping scales at most linearly with the dimension of the solution subspace. We also provide explicit error bounds on the accuracy of the approximated parameter and the corresponding regularization solution. Even though the results are more of theoretical nature, we present a recipe for the practical implementation of the approach and provide numerical experiments confirming the theoretical results. We also outline interesting directions for future research with some preliminary results, confirming their feasibility.

研究动机与目标

• 解决在缺乏解或噪声水平先验知识的情况下，持续存在的最优Tikhonov正则化参数选择挑战。
• 开发一种数据驱动方法，以近似从噪声数据到最优正则化参数的高维映射。
• 在解分布和噪声的统计假设下，建立对学习参数的样本复杂度和准确性的理论保证。
• 提供一种实用的实现方法，包含计算复杂度分析，并通过数值实验验证理论结论。

提出的方法

• 将反问题建模为线性系统 $ Y = AX + \eta $，其中 $ X \in \mathbb{R}^d $ 为解，$ \eta $ 为次高斯噪声。
• 假设解集中在低维仿射子空间上，从而实现降维并支持统计学习。
• 训练一个监督机器学习模型，将噪声数据 $ Y \in \mathbb{R}^m $ 映射到最优Tikhonov参数 $ \alpha^* $，使用先前观测到的数据-解对。
• 利用浓度不等式和次高斯尾部界，推导学习参数及相应正则化解的概率误差界。
• 证明所需训练样本数量最多与解子空间维度呈线性关系。
• 推导出学习解与真实解之间 $ \ell^2 $-误差的显式上界，其依赖于噪声的次高斯范数和样本数量。

实验结果

研究问题

• RQ1 机器学习模型是否能在无法访问真实解或噪声水平的情况下，有效近似最优Tikhonov正则化参数？
• RQ2 所需训练样本数量如何随解流形固有维度的变化而变化？
• RQ3 学习正则化参数及其对应正则化解的理论误差界是什么？
• RQ4 在次高斯噪声和解集中在仿射子空间上的假设下，该方法能否实现可靠性能？
• RQ5 基于学习的参数选择方法的计算复杂度是多少，与标准后验规则相比如何？

主要发现

• 监督学习最优正则化参数所需的训练样本数量最多与解子空间维度呈线性关系。
• 学习得到的正则化参数实现了 $ \ell^2 $-误差界，其阶为 $ \mathcal{O}(\|\eta\|_{\psi_2} \sqrt{d/n}) $，其中 $ d $ 为子空间维度，$ n $ 为训练样本数量。
• 在次高斯噪声和解集中的假设下，使用学习参数得到的正则化解以高概率收敛于真实解。
• 推导出了正则化参数和解的显式误差界，其依赖于噪声的次高斯范数和样本数量。
• 数值实验验证了理论预测，表明基于学习的方法相较于标准参数选择规则表现出良好性能。
• 该方法计算上可行，并提供了实用的实现方案，其复杂度分析支持其在高维场景中的应用。