[논문 리뷰] Infinite-dimensional $\ell^1$ minimization and function approximation from pointwise data

Ben Adcock|arXiv (Cornell University)|2015. 03. 09.

Probabilistic and Robust Engineering Design참고 문헌 28인용 수 7

한 줄 요약

이 논문은 점별 데이터로부터 매끄러운 함수를 근사하기 위한 무한차원 $ι^1$ 최소화 프레임워크를 제안하며, 사전에 잘라내기 오차 한계가 필요 없고, 보간해석 해를 보장한다. 이는 가중 $ι^1$ 최소화가 임의의 산점된 데이터로부터 매끄럽고 일차원적인 함수에 대해 최적의 근사 속도를 달성함을 증명한다.

ABSTRACT

We consider the problem of approximating a smooth function from finitely-many pointwise samples using $\ell^1$ minimization techniques. In the first part of this paper, we introduce an infinite-dimensional approach to this problem. Three advantages of this approach are as follows. First, it provides interpolatory approximations in the absence of noise. Second, it does not require extit{a priori} bounds on the expansion tail in order to be implemented. In particular, the truncation strategy we introduce as part of this framework is independent of the function being approximated, provided the function has sufficient regularity. Third, it allows one to explain the key role weights play in the minimization; namely, that of regularizing the problem and removing aliasing phenomena. In the second part of this paper we present a worst-case error analysis for this approach. We provide a general recipe for analyzing this technique for arbitrary deterministic sets of points. Finally, we use this tool to show that weighted $\ell^1$ minimization with Jacobi polynomials leads to an optimal method for approximating smooth, one-dimensional functions from scattered data.

연구 동기 및 목표

• 유한차원 $ι^1$ 최소화의 한계를 해결하기 위해, 사전에 잘라내기 오차 추정치에 의존하거나 보간해석 해가 아닌 해를 유도하는 문제를 해결한다.
• 확장 꼬리에 대한 지식이 없이도 보간해석 근사를 보장하는 프레임워크를 개발한다.
• 정규화와 앨리어싱 억제에서 가중치의 역할을 명확히 한다.
• 임의의 결정론적 점 집합에 대해 최악의 경우 오차 분석을 제공한다.
• 가중 $ι^1$ 최소화가 임의의 산점된 데이터로부터 매끄럽고 일차원적인 함수 근사를 위해 최적의 방법임을 보여준다.

제안 방법

• 힐버트 공간 설정에서 전체 계수 벡터를 직접 근사하는 무한차원 $ι^1$ 최소화 문제를 도입한다.
• 사용자가 정의한 매개변수 $K$에 기반한 잘라내기 전략을 제안하여, 무한 문제를 유한차원 문제로 변환한다.
• 정규화와 앨리어싱 억제를 위해 가중치를 선택한 가중 $ι^1$ 최소화를 사용한다.
• 임의의 결정론적 점 집합에 대해 유효한 최악의 경우 오차 분석 프레임워크를 적용하여 이론적 오차 한계를 도출한다.
• 자기 상관성과 渐近적 성질이 우수한 점들이므로, 자이아비 다항식을 기저 함수로 사용한다.
• 자이아비 다항식의 미분방정식과 渐近적 추정치를 이용해 도함수와 계수의 $L^∞$ 노름에 대한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 확장 꼬리에 대한 사전 지식이 없는 무한차원 $ι^1$ 최소화 프레임워크를 구성할 수 있는가?
• RQ2 이 프레임워크는 노이즈가 없는 조건에서 보간해석 근사를 제공하는가?
• RQ3 최소화 문제에서의 가중치는 정규화와 앨리어싱 억제에 어떻게 영향을 미치는가?
• RQ4 임의의 결정론적 점 집합에 대해 가중 $ι^1$ 최소화에 대한 최악의 경우 오차 한계를 유도할 수 있는가?
• RQ5 가중 $ι^1$ 최소화가 임의의 산점된 데이터로부터 매끄럽고 일차원적인 함수 근사를 위해 최적인가?

주요 결과

• 노이즈가 없는 경우, 무한차원 $ι^1$ 최소화 프레임워크는 기존의 유한차원 대비 보간해석 근사를 생성한다.
• 제안된 잘라내기 전략은 근사되는 함수에 의존하지 않으며, 오직 정규성과 사용자가 정의한 $K$에 의존한다.
• 최소화 문제에서의 가중치는 정규화와 앨리어싱 억제에 핵심적인 역할을 하며, 비균일 샘플링 상황에서 특히 중요하다.
• 최악의 경우 오차 분석 프레임워크는 임의의 결정론적 점 집합에 적용 가능하여, 랜덤 샘플링을 초월한 이론적 보장을 가능하게 한다.
• 가중 $ι^1$ 최소화가 자이아비 다항식을 사용할 경우, 산점된 데이터로부터 매끄럽고 일차원적인 함수 근사에 대해 최적의 수렴 속도를 달성한다.
• 자이아비 다항식과 그 도함수의 $L^∞$ 노름에 대한 渐近적 경계를 도출하여 이론적 분석을 뒷받침한다.