[论文解读] Representer Theorems in Banach Spaces: Minimum Norm Interpolation, Regularized Learning and Semi-Discrete Inverse Problems

Rui Wang, Yuesheng Xu|arXiv (Cornell University)|Jun 24, 2020

Sparse and Compressive Sensing Techniques参考文献 83被引用 7

一句话总结

本文在巴拿赫空间中为最小范数插值和正则化学习建立了显式表示定理，提供了推广经典希尔伯特空间表示定理的有限维解表示。关键贡献在于提出一种方法，将无限维问题在 $\ell_1(\mathbb{N})$ 的特殊情况下真正降为有限维问题，通过不动点公式和邻近算子实现高效计算。

ABSTRACT

Constructing or learning a function from a finite number of sampled data points (measurements) is a fundamental problem in science and engineering. This is often formulated as a minimum norm interpolation problem, regularized learning problem or, in general, a semi-discrete inverse problem, in certain functional spaces. The choice of an appropriate space is crucial for solutions of these problems. Motivated by sparse representations of the reconstructed functions such as compressed sensing and sparse learning, much of the recent research interest has been directed to considering these problems in certain Banach spaces in order to obtain their sparse solutions, which is a feasible approach to overcome challenges coming from the big data nature of most practical applications. It is the goal of this paper to provide a systematic study of the representer theorems for these problems in Banach spaces. There are a few existing results for these problems in a Banach space, with all of them regarding implicit representer theorems. We aim at obtaining explicit representer theorems based on which convenient solution methods will then be developed. For the minimum norm interpolation, the explicit representer theorems enable us to express the infimum in terms of the norm of the linear combination of the interpolation functionals. For the purpose of developing efficient computational algorithms, we establish the fixed-point equation formulation of solutions of these problems. We reveal that unlike in a Hilbert space, in general, solutions of these problems in a Banach space may not be able to be reduced to truly finite dimensional problems (with certain infinite dimensional components hidden). We demonstrate how this obstacle can be removed, reducing the original problem to a truly finite dimensional one, in the special case when the Banach space is $\ell_1(\mathbb{N})$.

研究动机与目标

• 为巴拿赫空间中的最小范数插值和正则化学习建立显式表示定理，克服先前工作中隐式定理的局限性。
• 通过泛函分析与凸分析，为光滑与非光滑对偶空间建立系统化的解表示框架。
• 通过将解表示为插值泛函的有限组合并推导系数的可解系统，实现高效的计算算法。
• 解决巴拿赫空间解可能保留在隐藏的无限维分量中的挑战，这与希尔伯特空间不同。
• 通过结构与对偶性分析，在 $\ell_1(\mathbb{N})$ 的特殊情况下展示完整的有限维降维。

提出的方法

• 利用巴拿赫空间范数的次微分结构与对偶理论，推导显式表示定理。
• 将解表述为插值泛函的线性组合，其系数通过求解有限维优化问题或方程组确定。
• 利用正则化函数的邻近算子建立不动点方程形式，以支持迭代求解方法。
• 分析 $\ell_1$-型惩罚的邻近算子结构，推导系数更新的闭式表达式。
• 利用巴拿赫空间的对偶映射与光滑性特性，刻画光滑与非光滑情形下的解表示。
• 通过证明无限维分量因 $\ell_1$-范数的特定几何结构而消失，实现 $\ell_1(\mathbb{N})$ 中的有限维降维。

实验结果

研究问题

• RQ1 能否在巴拿赫空间中为最小范数插值与正则化建立显式表示定理，超越现有隐式形式？
• RQ2 在一般巴拿赫空间中，如何将这些问题的解表示为插值泛函的有限组合？
• RQ3 在何种条件下，可将无限维巴拿赫空间问题真正降为有限维问题？
• RQ4 正则化函数的邻近算子如何影响巴拿赫空间中高效迭代求解器的设计？
• RQ5 为何巴拿赫空间解通常保留在隐藏的无限维分量中，以及在 $\ell_1(\mathbb{N})$ 等特定情况下如何克服此问题？

主要发现

• 在巴拿赫空间中，为光滑与非光滑对偶空间均建立了显式表示定理，实现了有限维解表示。
• 通过次微分分析，最小范数插值问题的下确界可表示为插值泛函线性组合的范数。
• 解表示中的系数通过求解有限维优化问题、非线性系统或线性系统确定，具体取决于问题结构。
• 与希尔伯特空间不同，一般巴拿赫空间解可能包含隐藏的无限维分量，导致无法直接进行有限维降维。
• 在 $\ell_1(\mathbb{N})$ 的特殊情况下，无限维分量被消除，实现了问题的完整有限维降维。
• 为 $\ell_1$-型正则化函数推导出闭式邻近算子，支持高效不动点迭代算法用于系数计算。