[논문 리뷰] Frames and numerical approximation II: generalized sampling

Ben Adcock, Daan Huybrechs|arXiv (Cornell University)|2018. 02. 06.

Image and Signal Denoising Methods참고 문헌 20인용 수 12

한 줄 요약

이 논문은 프레임 기반 수치 근사의 일반화를 통해 임의의 선형 연산자(예: 함수 값)를 통한 샘플링을 允허하고, 최소제곱 설정에서 과잉 샘플링을 도입한다. 과잉 샘플링을 통해 근사 정확도가 𝒪(√ε)에서 𝒪(ε)로 향상됨을 보여주며, 이는 악조건의 시스템에서도 안정적이고 높은 정확도의 계산을 가능하게 한다.

ABSTRACT

In a previous paper [Adcock & Huybrechs, 2019] we described the numerical approximation of functions using redundant sets and frames. Redundancy in the function representation offers enormous flexibility compared to using a basis, but ill-conditioning often prevents the numerical computation of best approximations. We showed that, in spite of said ill-conditioning, approximations with regularization may still provide accuracy up to order $\sqrtε$, where $ε$ is a small truncation threshold. When using frames, i.e. complete systems that are generally redundant but which provide infinite representations with coefficients of bounded norm, this accuracy can actually be achieved for all functions in a space. Here, we generalize that setting in two ways. We assume information or samples from $f$ from a wide class of linear operators acting on $f$, rather than inner products associated with the best approximation projection. This enables the analysis of fully discrete approximations based, for instance, on function values only. Next, we allow oversampling, leading to least-squares approximations. We show that this leads to much improved accuracy on the order of $ε$ rather than $\sqrtε$. Overall, we demonstrate that numerical function approximation using redundant representations may lead to highly accurate approximations in spite of having to solve ill-conditioned systems of equations.

연구 동기 및 목표

• 내적 외에도 점 평가와 같은 일반적인 선형 샘플링 연산자로 프레임 기반 수치 근사의 범위를 확장한다.
• 과잉 샘플링과 최소제곱 방법을 사용한 완전 이산 근사의 안정성과 정확도를 분석한다.
• 과잉 샘플링이 오차 한계를 𝒪(√ε)에서 𝒪(ε)로 감소시켜 정확도를 크게 향상시킨다는 것을 입증한다.
• 특히 레지오드 다항식의 근점과 같은 구조적 샘플링 점에 대해 안정적인 샘플링 비율가 존재하는 조건을 설정한다.
• 정규화와 과잉 샘플링을 병행함으로써 악조건의 그람 행렬이 존재하더라도 고정밀·안정적인 계산이 가능하다는 이론적 및 수치적 증거를 제시한다.

제안 방법

• 내적 외에도 임의의 유계 선형 연산자로 샘플링이 가능한 근사 프레임워크를 일반화한다.
• 샘플 수 M이 기저 함수의 수 N을 초과하는 과잉 샘플링 데이터를 사용한 최소제곱 설정을 도입한다 (M = γN).
• 과잉 프레임에서 발생하는 악조건의 선형 시스템을 안정화하기 위해 임계값 ε를 사용한 절단 SVD 정규화를 적용한다.
• 조건수와 근사 오차에 대한 이론적 상한을 유도하며, 이들이 ε와 샘플링 구조에 어떻게 의존하는지 분석한다.
• 그람 행렬과 안정성 상수를 정확히 계산하기 위해 고정밀 산술과 특수한 적분 공식을 활용한다.
• 안정성과 수렴 특성의 비교를 위해 레지오드 점과 등간격 점을 테스트 샘플 집합으로 사용한다.

실험 결과

연구 질문

• RQ1 프레임 기반 근사는 내적 외에도 함수 값 및 기타 선형 샘플링 연산자를 포함하여 일반화될 수 있는가?
• RQ2 일반화된 샘플링 프레임워크에서 과잉 샘플링이 정규화를 통한 표준 최적 근사보다 근사 정확도를 향상시키는가?
• RQ3 과잉 샘플링 인자 γ와 근사의 안정성(특히 조건수와 오차 상한) 사이의 관계는 어떠한가?
• RQ4 다양한 샘플링 점 분포(예: 레지오드 vs. 등간격)는 일반화된 샘플링 방법의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ5 과잉 샘플링과 최소제곱 설정을 통해 이론적 오차 상한을 𝒪(√ε)에서 𝒪(ε)로 향상시킬 수 있는가?

주요 결과

• 과잉 샘플링과 최소제곱 설정을 통해 근사 오차는 𝒪(ε)로 상한이 둔다. 이는 비과잉 샘플링 사례의 𝒪(√ε) 상한에 비해 상당한 향상이다.
• 레지오드 점의 경우 선형 과잉 샘플링(γ > 1)으로 인해 안정성 상수 κᴹ,ᴺ^ε와 λᴹ,ᴺ^ε가 유한하고 작게 유지되며, 안정적인 수렴을 나타낸다.
• 반면 등간격 점은 조건수가 1/ε에 수렴하는 것을 방지하기 위해 초선형 과잉 샘플링이 필요하며, 이는 불안정성을 암시한다.
• 조건수에 대한 이론적 상한은 𝒪(1/ε)이지만, 이는 주로 전점근적 영역에서만 도달되며, 충분한 과잉 샘플링이 이루어지면 상한은 작은 상수로 안정화된다.
• 수치 실험 결과, 레지오드 점과 충분한 과잉 샘플링을 사용할 경우 오차가 𝒪(ε)의 속도로 수렴함을 확인하였으며, 이는 이론 분석을 뒷받침한다.
• 가우스-레지오드 적분 가중치를 사용한 이산 정규화는 안정성을 향상시키고 κᴹ,ᴺ^ε 및 λᴹ,ᴺ^ε 상수를 감소시켜 정확도를 향상시킨다.