[論文レビュー] Representer Theorems in Banach Spaces: Minimum Norm Interpolation, Regularized Learning and Semi-Discrete Inverse Problems

Rui Wang, Yuesheng Xu|arXiv (Cornell University)|Jun 24, 2020

Sparse and Compressive Sensing Techniques参考文献 83被引用数 7

ひとこと要約

本稿は、バナッハ空間における最小ノルム補間および正則化学習について、明示的representer定理を確立し、古典的なヒルバート空間のrepresenter定理を一般化する有限次元解表現を提供する。主な貢献は、特別な場合である$\ell_1(\mathbb{N})$において、無限次元問題を真正に有限次元問題に還元する手法を提供することであり、固定点定式化および近接作用素を用いた効率的な計算が可能になる。

ABSTRACT

Constructing or learning a function from a finite number of sampled data points (measurements) is a fundamental problem in science and engineering. This is often formulated as a minimum norm interpolation problem, regularized learning problem or, in general, a semi-discrete inverse problem, in certain functional spaces. The choice of an appropriate space is crucial for solutions of these problems. Motivated by sparse representations of the reconstructed functions such as compressed sensing and sparse learning, much of the recent research interest has been directed to considering these problems in certain Banach spaces in order to obtain their sparse solutions, which is a feasible approach to overcome challenges coming from the big data nature of most practical applications. It is the goal of this paper to provide a systematic study of the representer theorems for these problems in Banach spaces. There are a few existing results for these problems in a Banach space, with all of them regarding implicit representer theorems. We aim at obtaining explicit representer theorems based on which convenient solution methods will then be developed. For the minimum norm interpolation, the explicit representer theorems enable us to express the infimum in terms of the norm of the linear combination of the interpolation functionals. For the purpose of developing efficient computational algorithms, we establish the fixed-point equation formulation of solutions of these problems. We reveal that unlike in a Hilbert space, in general, solutions of these problems in a Banach space may not be able to be reduced to truly finite dimensional problems (with certain infinite dimensional components hidden). We demonstrate how this obstacle can be removed, reducing the original problem to a truly finite dimensional one, in the special case when the Banach space is $\ell_1(\mathbb{N})$.

研究の動機と目的

• ヒルバート空間を超える既存の暗黙的定理の制限を克服し、バナッハ空間における最小ノルム補間および正則化学習について、明示的representer定理を構築すること。
• 滑らかでない双対空間を含む一般のバナッハ空間において、関数解析および凸解析を用いた一貫した解表現フレームワークを提供すること。
• 解を補間汎関数の有限結合として表現し、係数を解ける系に導くことにより、効率的な計算アルゴリズムを可能にすること。
• バナッハ空間の解が一般に隠れた無限次元成分を保持するという課題に、ヒルバート空間とは異なり、それらが解消される理由を明らかにすること。
• 構造的および双対性解析を通じて、特別な場合$\ell_1(\mathbb{N})$において、完全な有限次元還元を示すこと。

提案手法

• バナッハ空間ノルムの部分微分構造と双対性理論を活用して、明示的representer定理を導出する。
• 解を補間汎関数の線形結合として定式化し、係数は有限次元最適化問題または方程式系を解くことで決定する。
• 正則化関数の近接作用素を用いて固定点方程式を定式化し、反復的解法が可能になるようにする。
• $\ell_1$-型ペナルティの近接作用素の構造を分析して、係数更新の閉形式表現を導出する。
• バナッハ空間の双対写像および滑らかさの性質を用いて、滑らかでない場合を含む解表現を特徴付ける。
• $\ell_1$-ノルムの特定の幾何構造に起因して、無限次元成分が消滅することを示すことにより、$\ell_1(\mathbb{N})$における有限次元還元を実証する。

実験結果

リサーチクエスチョン

• RQ1 ヒルバート空間を超えて、一般のバナッハ空間における最小ノルム補間および正則化学習について、既存の暗黙的形を越えた明示的representer定理を確立できるか？
• RQ2 一般のバナッハ空間において、これらの問題の解を補間汎関数の有限結合として表現する方法は何か？
• RQ3 無限次元バナッハ空間問題を真正に有限次元問題に還元できる条件は何か？
• RQ4 正則化関数の近接作用素は、バナッハ空間における効率的反復ソルバーの設計にどのように寄与するか？
• RQ5 なぜ一般にバナッハ空間の解は隠れた無限次元成分を保持するのか、そして$\ell_1(\mathbb{N})$のような特定の場合にそれらを克服できるのか？

主な発見

• 滑らかでない双対空間を含むバナッハ空間において、両者について明示的representer定理が確立され、有限次元解表現が可能になった。
• 部分微分解析を用いて、最小ノルム補間問題の下界が補間汎関数の線形結合のノルムで表現された。
• 解表現における係数は、問題の構造に応じて、有限次元最適化問題、非線形方程式系、または線形方程式系を解くことで決定される。
• ヒルバート空間とは異なり、一般のバナッハ空間の解は、直接的な有限次元還元を妨げる、隠れた無限次元成分を含むことがある。
• 特別な場合$\ell_1(\mathbb{N})$においては、無限次元成分が消失し、問題が完全に有限次元に還元可能であることが示された。
• $\ell_1$-型正則化関数について、閉形式の近接作用素が導出され、係数計算のための効率的固定点反復アルゴリズムが可能になった。