[논문 리뷰] Representer Theorems in Banach Spaces: Minimum Norm Interpolation, Regularized Learning and Semi-Discrete Inverse Problems

Rui Wang, Yuesheng Xu|arXiv (Cornell University)|2020. 06. 24.

Sparse and Compressive Sensing Techniques참고 문헌 83인용 수 7

한 줄 요약

이 논문은 바나흐 공간에서 최소 노름 보간과 정규화 학습에 대해 명시적 리프레젠터 정리를 수립하며, 고전적인 힐버트 공간 리프레젠터 정리의 일반화인 유한차원 해 표현을 제공한다. 주요 기여는 특수한 경우인 $\ell_1(\mathbb{N})$에서 무한차원 문제를 진정으로 유한차원 문제로 줄이는 방법을 제시한 것으로, 고정점 공식화와 가까운 연산자를 통해 효율적인 계산을 가능하게 한다.

ABSTRACT

Constructing or learning a function from a finite number of sampled data points (measurements) is a fundamental problem in science and engineering. This is often formulated as a minimum norm interpolation problem, regularized learning problem or, in general, a semi-discrete inverse problem, in certain functional spaces. The choice of an appropriate space is crucial for solutions of these problems. Motivated by sparse representations of the reconstructed functions such as compressed sensing and sparse learning, much of the recent research interest has been directed to considering these problems in certain Banach spaces in order to obtain their sparse solutions, which is a feasible approach to overcome challenges coming from the big data nature of most practical applications. It is the goal of this paper to provide a systematic study of the representer theorems for these problems in Banach spaces. There are a few existing results for these problems in a Banach space, with all of them regarding implicit representer theorems. We aim at obtaining explicit representer theorems based on which convenient solution methods will then be developed. For the minimum norm interpolation, the explicit representer theorems enable us to express the infimum in terms of the norm of the linear combination of the interpolation functionals. For the purpose of developing efficient computational algorithms, we establish the fixed-point equation formulation of solutions of these problems. We reveal that unlike in a Hilbert space, in general, solutions of these problems in a Banach space may not be able to be reduced to truly finite dimensional problems (with certain infinite dimensional components hidden). We demonstrate how this obstacle can be removed, reducing the original problem to a truly finite dimensional one, in the special case when the Banach space is $\ell_1(\mathbb{N})$.

연구 동기 및 목표

• 기존 연구에서의 암묵적 정리의 한계를 극복하여 바나흐 공간에서 최소 노름 보간과 정규화 학습에 대한 명시적 리프레젠터 정리를 개발하는 것.
• 부드럽고 비부드러운 쌍대 공간 모두에 대해 기능적 및 볼록 해석학을 활용한 체계적인 해 표현 프레임워크를 제공하는 것.
• 해를 보간 함수기능의 유한조합으로 표현하고 계수에 대한 해결 가능한 시스템을 유도함으로써 효율적인 계산 알고리즘을 가능하게 하는 것.
• 힐베르트 공간과 달리 바나흐 공간 해가 숨겨진 무한차원 성분을 유지할 수 있다는 과제를 다루는 것.
• 특수한 경우인 $\ell_1(\mathbb{N})$에서 기하학적 구조와 쌍대성 분석을 통해 해가 완전히 유한차원으로 축소됨을 보여주는 것.

제안 방법

• 바나흐 공간 노름의 부분미분 구조와 쌍대 이론을 활용하여 명시적 리프레젠터 정리를 유도하는 것.
• 해를 보간 함수기능의 선형 조합으로 표현하고, 계수는 유한차원 최적화 문제 또는 방정식계를 풀어 결정하는 것.
• 정규화 함수의 가까운 연산자를 사용하여 고정점 방정식 공식화를 수립함으로써 반복적 해법을 가능하게 하는 것.
• $\ell_1$-유형 펜alties의 가까운 연산자의 구조를 분석하여 계수 갱신을 위한 닫힌 형식의 표현을 도출하는 것.
• 바나흐 공간의 쌍대 사상과 미분 가능성 성질을 사용하여 부드럽고 비부드러운 경우 모두에 대해 해 표현을 특성화하는 것.
• $\ell_1(\mathbb{N})$에서 무한차원 성분이 사라짐을 보여줌으로써, 기하학적 특성에 기반한 유한차원 축소를 입증하는 것.

실험 결과

연구 질문

• RQ1 기존의 암묵적 형태를 초월하여 바나흐 공간에서 최소 노름 보간과 정규화에 대해 명시적 리프레젠터 정리를 수립할 수 있는가?
• RQ2 일반 바나흐 공간에서 이러한 문제의 해가 보간 함수기능의 유한조합으로 어떻게 표현될 수 있는가?
• RQ3 무한차원 바나흐 공간 문제를 진정으로 유한차원 문제로 축소할 수 있는 조건은 무엇인가?
• RQ4 정규화 함수의 가까운 연산자가 바나흐 공간에서 효율적인 반복적 해법 설계에 어떻게 영향을 미치는가?
• RQ5 왜 일반적으로 바나흐 공간 해는 숨겨진 무한차원 성분을 유지하는가, 그리고 $\ell_1(\mathbb{N})$와 같은 특수한 경우에서는 이를 어떻게 극복할 수 있는가?

주요 결과

• 부드럽고 비부드러운 쌍대 공간 모두에 대해 바나흐 공간에서 명시적 리프레젠터 정리를 수립하여 유한차원 해 표현을 가능하게 하였다.
• 부분미분 분석을 통해 최소 노름 보간 문제의 하한이 보간 함수기능의 선형 조합의 노름으로 표현됨을 밝혔다.
• 해 표현의 계수는 문제의 구조에 따라 유한차원 최적화 문제, 비선형 방정식계, 또는 선형 방정식계를 풀어 결정된다.
• 힐베르트 공간과 달리 일반 바나흐 공간 해는 숨겨진 무한차원 성분을 포함할 수 있어 직접적인 유한차원 축소가 불가능하다.
• 특수한 경우인 $\ell_1(\mathbb{N})$에서는 무한차원 성분이 제거되어 문제의 완전한 유한차원 축소가 가능하다.
• $\ell_1$-유형 정규화 함수에 대해 닫힌 형식의 가까운 연산자를 도출하여 계수 계산을 위한 효율적인 고정점 반복 알고리즘을 가능하게 하였다.