[논문 리뷰] Frames and numerical approximation

Ben Adcock, Daan Huybrechs|arXiv (Cornell University)|2016. 12. 14.

Mathematical Analysis and Transform Methods참고 문헌 66인용 수 7

한 줄 요약

이 논문은 프레임—정규직교기저의 일반화이자 과잉완비인 체계—을 사용하여 함수의 정확한 근사값을 수치적으로 계산하기 위한 정규화 기반 프레임워크를 제안한다. 잘린 프레임 그램 행렬의 악조건성에도 불구하고, 이 방법은 오차 한계를 $\sqrt{\epsilon}$(또는 수정 시 $\epsilon$) 수준으로 유지하며 조건수는 $1/\sqrt{\epsilon}$ 이하로 제한한다. 이는 정규화된 프레임 조건을 활용하여 표준 기저 방법이 실패할 경우에도 안정적이고 고정밀한 근사값을 보장한다.

ABSTRACT

Functions of one or more variables are usually approximated with a basis: a complete, linearly-independent system of functions that spans a suitable function space. The topic of this paper is the numerical approximation of functions using the more general notion of frames: that is, complete systems that are generally redundant but provide infinite representations with bounded coefficients. While frames are well-known in image and signal processing, coding theory and other areas of applied mathematics, their use in numerical analysis is far less widespread. Yet, as we show via a series of examples, frames are more flexible than bases, and can be constructed easily in a range of problems where finding orthonormal bases with desirable properties (rapid convergence, high resolution power, etc.) is difficult or impossible. A key concern when using frames is that computing a best approximation requires solving an ill-conditioned linear system. Nonetheless, we construct a frame approximation via regularization with bounded condition number (with respect to perturbations in the data), and which approximates any function up to an error of order $\sqrtε$, or even of order $ε$ with suitable modifications. Here $ε$ is a threshold value that can be chosen by the user. Crucially, rate of decay of the error down to this level is determined by the existence of approximate representations of $f$ in the frame possessing small-norm coefficients. We demonstrate the existence of such representations in all of our examples. Overall, our analysis suggests that frames are a natural generalization of bases in which to develop numerical approximation. In particular, even in the presence of severely ill-conditioned linear systems, the frame condition imposes sufficient mathematical structure in order to give rise to accurate, well-conditioned approximations.

연구 동기 및 목표

• 잘린 프레임에서 기인하는 심각하게 악조건인 선형 연립방정식이 존재하는 상황에서 정확한 근사값을 수치적으로 계산하는 데 도전하는 것.
• 매우 고차원이고 임의의 기하구조를 가진 매끄러운 다변수 함수에 대해, 정규직교기저보다 프레임이 더 큰 유연성을 제공함을 보여주는 것.
• 최적의 근사값이 악조건일 경우에도 조건수를 유한하게 유지하고 $\mathcal{O}(\sqrt{\epsilon})$ 수준의 수렴을 보장하는 정규화 전략을 개발하는 것.
• 프레임 내에서 작은 노름을 가진 계수 표현이 존재할 경우 그로 인해 달성 가능한 근사 정확도가 결정되며, 이는 이론적 프레임 성질과 수치적 성능 간의 연결 고리를 제공하는 것.
• 과표본화가 조건수를 향상시키고 오차를 $\mathcal{O}(\epsilon)$ 수준으로 감소시켜 프레임을 전통적 기저의 대안으로서 수치해석에서 실현 가능하게 만드는 것.

제안 방법

• 이 방법은 Tikhonov 유형 정규화를 활용하여 잘린 프레임에서 악조건인 그램 행렬과 관련된 선형 연립방정식을 안정적으로 풀어 근사값을 계산한다.
• 오차 한계를 제어하기 위해 파라미터 $\epsilon$을 도입하여, 정규화된 해의 조건수가 $1/\sqrt{\epsilon}$ 이하가 되도록 보장한다.
• 수렴 속도를 보장하기 위해 프레임 조건에 기반하여 작은 노름의 계수를 가진 표현이 존재함을 보장한다.
• 기본 기준으로 캐논리컬 쌍대 프레임을 사용하지만, 더 낮은 계수 노름을 가진 보다 우수한 근사값을 찾는 방식으로 이를 개선한다.
• 과표본화를 적용하여 조건수가 $\mathcal{O}(1)$ 수준이고 오차가 $\mathcal{O}(\epsilon)$ 수준인 잘 조절된 시스템을 구축함으로써 수치적 안정성을 향상시킨다.
• 이론적 분석을 통해 근사 오차의 감쇠가 작은 $\ell^2$-노름 계수를 가진 프레임 내 유한 전개의 존재와 연결됨을 밝힌다.

실험 결과

연구 질문

• RQ1 잘린 그램 행렬이 심각하게 악조건일 경우에도, 프레임을 사용하여 정확하고 잘 조절된 수치적 근사값을 계산할 수 있는가?
• RQ2 유한 차원의 잘린 프레임에서 프레임 조건과 수치적 근사의 안정성 및 정확도 사이의 관계는 어떠한가?
• RQ3 표준 직교 프로젝션 방법과 비교했을 때, 정규화가 프레임 기반 근사의 조건수와 수렴 속도에 어떤 영향을 미치는가?
• RQ4 과표본화가 프레임 근사의 조건수를 얼마나 향상시키고 오차를 얼마나 감소시킬 수 있는가?
• RQ5 어떤 조건에서 프레임 내에서 작은 노름의 계수 표현이 존재할 경우 고정밀 수치 근사가 달성되는가?

주요 결과

• 정규화된 프레임 근사법은 오차 한계 $\mathcal{O}(\sqrt{\epsilon})$ 와 조건수 $1/\sqrt{\epsilon}$ 이하를 확보하여, 악조건성에도 불구하고 수치적 안정성을 보장한다.
• 근사의 수렴 속도는 함수의 유한 프레임 전개가 작은 노름의 계수를 가짐을 보장하는 프레임 조건에 의해 결정된다.
• 표준 직교 프로젝션을 통한 최적 근사가 악조건이어서 계산이 불가능한 경우에도, 정규화된 방법은 조건 수가 제한된 상태에서 오차가 통제된 수치적 안정성 있는 대안을 제공한다.
• 과표본화를 통해 조건수가 $\mathcal{O}(1)$ 수준이고 오차가 $\mathcal{O}(\epsilon)$ 수준인 프레임 근사가 구축되며, 이는 강건성의 급격한 향상을 가져온다.
• 특히 고차원 또는 비정규 기하구조에서 이차 수렴이 느린 쌍대 프레임 전개에 비해, 이 방법은 더 뛰어난 성능을 보인다.
• 수치 실험 결과, 그램 행렬의 유투형 SVD 계산에서 단정 정밀도의 영향이 미미한 것으로 나타났다. 이는 특이값이 '좋은' 그룹과 '나쁜' 그룹으로 명확하게 군집되어 있기 때문이다.