[논문 리뷰] Sparse Recovery for Orthogonal Polynomial Transforms

Anna C. Gilbert, Albert Gu외 3명|arXiv (Cornell University)|2019. 07. 19.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 2

한 줄 요약

이 논문은 자카비 다항식에서 파생된 직교 다항식 변환을 사용한 희소 복구를 위한 처음으로 증명 가능하게 선형 시간 이하인 알고리즘을 제시한다. 일반적인 프레임워크를 통해 k-희소 복구 문제를 1-희소 복구 문제로 감소시키고, 자카비 다항식의余弦 근사법을 사용하여 1-희소 케이스를 해결함으로써, 균일한 노이즈와 특정 구조적 가정 하에 분포가 넓은 지원을 가진 약간의 k-희소 신호에 대해 O(poly(k log N))의 런타임과 샘플 복잡도를 달성한다.

ABSTRACT

In this paper we consider the following sparse recovery problem. We have query access to a vector 𝐱 ∈ ℝ^N such that x̂ = 𝐅 𝐱 is k-sparse (or nearly k-sparse) for some orthogonal transform 𝐅. The goal is to output an approximation (in an 𝓁₂ sense) to x̂ in sublinear time. This problem has been well-studied in the special case that 𝐅 is the Discrete Fourier Transform (DFT), and a long line of work has resulted in sparse Fast Fourier Transforms that run in time O(k ⋅ polylog N). However, for transforms 𝐅 other than the DFT (or closely related transforms like the Discrete Cosine Transform), the question is much less settled. In this paper we give sublinear-time algorithms - running in time poly(k log(N)) - for solving the sparse recovery problem for orthogonal transforms 𝐅 that arise from orthogonal polynomials. More precisely, our algorithm works for any 𝐅 that is an orthogonal polynomial transform derived from Jacobi polynomials. The Jacobi polynomials are a large class of classical orthogonal polynomials (and include Chebyshev and Legendre polynomials as special cases), and show up extensively in applications like numerical analysis and signal processing. One caveat of our work is that we require an assumption on the sparsity structure of the sparse vector, although we note that vectors with random support have this property with high probability. Our approach is to give a very general reduction from the k-sparse sparse recovery problem to the 1-sparse sparse recovery problem that holds for any flat orthogonal polynomial transform; then we solve this one-sparse recovery problem for transforms derived from Jacobi polynomials. Frequently, sparse FFT algorithms are described as implementing such a reduction; however, the technical details of such works are quite specific to the Fourier transform and moreover the actual implementations of these algorithms do not use the 1-sparse algorithm as a black box. In this work we give a reduction that works for a broad class of orthogonal polynomial families, and which uses any 1-sparse recovery algorithm as a black box.

연구 동기 및 목표

• 푸리에 케이스를 초월한 직교 다항식 변환에서 효율적인 선형 시간 이하 알고리즘을 개발하는 것.
• 체비셰프, 레지온드르, 게겐바우어 등 일반 직교 다항식 변환인 자카비 다항식 변환에 대해 선형 시간 이하의 해법이 부족한 문제를 해결하는 것.
• 희소성에 대한 구조적 가정 하에 약간의 k-희소 신호의 복구에 대해 증명 가능한 보장을 제공하는 것.
• 블랙박스 1-희소 복구 서브루틴을 사용하여 희소 FFT 기법을 더 넓은 범주로 일반화하는 것.

제안 방법

• 평탄한 직교 다항식 변환에 대해 k-희소에서 1-희소 희소 복구로의 일반 감소를 제안한다.
• 이 감소를 자카비 다항식 변환에 적용하며, 이는 체비셰프, 레지온드르, 게겐바우어를 특수 케이스로 포함한다.
• 자카비 다항식 평가의 알려진 여측 근사법을 사용하여 1-희소 복구 문제를 해결한다.
• 신호 성분을 점차 더 높은 정밀도로 식별하기 위해 재귀적 정밀화 절차(Refine)를 활용한다.
• 각도 감싸기와 주기성의 성질을 이용하여 반복 정밀화 과정에서의 오차 전파를 제한한다.
• O(poly(k log N))의 쿼리와 O(poly(k log N))의 시간 복잡도를 가지는 쿼리 효율적인 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 직교 다항식 변환에서 DFT를 초월해 선형 시간 이하의 희소 복구를 달성할 수 있는가?
• RQ2 일반적인 직교 다항식의 넓은 범주에 적용 가능한 k-희소에서 1-희소 복구로의 일반 감소가 존재하는가?
• RQ3 자카비 다항식의 1-희소 복구 문제는 여측 근사법을 사용해 효율적으로 해결할 수 있는가?
• RQ4 비푸리에 변환에 대해 선형 시간 이하 복구를 달성하기 위해 필요한 희소성에 대한 구조적 가정은 무엇인가?
• RQ5 알고리즘이 약간의 k-희소 신호에서 노이즈를 어떻게 다루는가?

주요 결과

• 알고리즘은 O(poly(k log N))의 시간 복잡도로 실행되며, O(poly(k log N))의 쿼리를 수행하여 선형 시간 이하의 복잡도를 달성한다.
• 분포가 넓은 지원을 가진 약간의 k-희소 신호에 대해, 고확률로 ∥ẑ − ˆx∥₂ ≤ 0.01∥ˆx∥₂를 보장한다.
• 이 방법은 자카비 다항식에서 유도된 임의의 직교 다항식 변환에 대해 작동하며, 체비셰프와 레지온드르를 특수 케이스로 포함한다.
• k-희소에서 1-희소 복구로의 감소는 임의의 평탄한 직교 다항식 변환에 대해 일반적으로 적용 가능하다.
• 알고리즘의 정확성은 구조적 가정에 의존한다: 희소 신호는 '분포가 넓은' 지원을 가져야 하며, 이는 랜덤 지원에서 고확률로 성립한다.
• 이 접근법은 충분히 작은 ℓ₂ 노이즈를 가진 적대적 노이즈에 대해 강건하며, 현실적인 조건에서 안정적인 복구를 보장한다.