[論文レビュー] Sparse Recovery for Orthogonal Polynomial Transforms

Anna C. Gilbert, Albert Gu+3 more|arXiv (Cornell University)|Jul 19, 2019

Sparse and Compressive Sensing Techniques参考文献 24被引用数 2

ひとこと要約

本稿では、ジャコビ多項式から導かれる直交多項式変換を用いたスパースリカバリーにおける、初めての証明可能でサブラインアスタイムのアルゴリズムを提示する。一般化されたフレームワークを用いてkスパースリカバリー問題を1スパースリカバリー問題に還元し、ジャコビ多項式のコサイン近似を用いて1スパースケースを解くことで、スパースな成分が広がったサポートを持つ近似的にkスパースな信号に対して、有界なノイズと特定の構造的仮定のもとで、O(poly(k log N))の実行時間とサンプル数の複雑さを達成する。

ABSTRACT

In this paper we consider the following sparse recovery problem. We have query access to a vector 𝐱 ∈ ℝ^N such that x̂ = 𝐅 𝐱 is k-sparse (or nearly k-sparse) for some orthogonal transform 𝐅. The goal is to output an approximation (in an 𝓁₂ sense) to x̂ in sublinear time. This problem has been well-studied in the special case that 𝐅 is the Discrete Fourier Transform (DFT), and a long line of work has resulted in sparse Fast Fourier Transforms that run in time O(k ⋅ polylog N). However, for transforms 𝐅 other than the DFT (or closely related transforms like the Discrete Cosine Transform), the question is much less settled. In this paper we give sublinear-time algorithms - running in time poly(k log(N)) - for solving the sparse recovery problem for orthogonal transforms 𝐅 that arise from orthogonal polynomials. More precisely, our algorithm works for any 𝐅 that is an orthogonal polynomial transform derived from Jacobi polynomials. The Jacobi polynomials are a large class of classical orthogonal polynomials (and include Chebyshev and Legendre polynomials as special cases), and show up extensively in applications like numerical analysis and signal processing. One caveat of our work is that we require an assumption on the sparsity structure of the sparse vector, although we note that vectors with random support have this property with high probability. Our approach is to give a very general reduction from the k-sparse sparse recovery problem to the 1-sparse sparse recovery problem that holds for any flat orthogonal polynomial transform; then we solve this one-sparse recovery problem for transforms derived from Jacobi polynomials. Frequently, sparse FFT algorithms are described as implementing such a reduction; however, the technical details of such works are quite specific to the Fourier transform and moreover the actual implementations of these algorithms do not use the 1-sparse algorithm as a black box. In this work we give a reduction that works for a broad class of orthogonal polynomial families, and which uses any 1-sparse recovery algorithm as a black box.

研究の動機と目的

• フーリエ変換を除く直交多項式変換における、効率的なサブラインアスタイムのスパースリカバリーアルゴリズムの開発。
• チェビシェフ、ルジャンドル、ゲーゲンバウアーなど、ジャコビ多項式を含む一般の直交多項式変換に対して、サブラインアスタイムの解法が不足している問題への対処。
• スパース性に関する構造的仮定のもとで、近似的にkスパースな信号のリカバリーに対して、証明可能な保証を提供すること。
• ブラックボックスとしての1スパースリカバリー部分問題を用いて、スパースFFT技術をより広いクラスの直交多項式へ一般化すること。

提案手法

• 平坦な直交多項式変換に対して、kスパースから1スパースへの一般化された還元を提案する。
• この還元を、チェビシェフ、ルジャンドル、ゲーゲンバウアーを特別な場合として含むジャコビ多項式変換に適用する。
• ジャコビ多項式の評価値をコサイン関数で近似する既知の結果を用いて、1スパースリカバリー問題を解く。
• 反復的精錬手順（Refine）を用いて、信号成分の位置を段階的に高精度に特定する。
• 角度のラップアラウンドと周期性の性質を活用し、反復的精錬における誤差伝搬を制限する。
• O(poly(k log N))のクエリ数とO(poly(k log N))の実行時間で動作するクエリ効率の良いアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 直交多項式変換（DFTを除く）において、サブラインアスタイムのスパースリカバリーが達成可能か。
• RQ2 広いクラスの直交多項式に適用可能な、kスパースから1スパースへの一般還元は存在するか。
• RQ3 コサイン近似を用いて、ジャコビ多項式の1スパースリカバリー問題を効率的に解けるか。
• RQ4 非フーリエ変換のサブラインアスタイムリカバリーを達成するためのスパース性に関する構造的仮定は何か。
• RQ5 アルゴリズムは、近似的にkスパースな信号におけるノイズをどのように処理するか。

主な発見

• アルゴリズムはO(poly(k log N))の実行時間とO(poly(k log N))のクエリ数で動作し、サブラインアスタイムの複雑さを達成する。
• スパース成分が広がったサポートを持つ近似的にkスパースな信号に対して、高確率で∥ẑ − ˆx∥₂ ≤ 0.01∥ˆx∥₂のリカバリー誤差保証が得られる。
• 本手法は、ジャコビ多項式から導かれる任意の直交多項式変換に適用可能であり、チェビシェフやルジャンドルも特別な場合として含まれる。
• kスパースから1スパースへの還元は、任意の平坦な直交多項式変換に適用可能な一般化されたものである。
• アルゴリズムの正しさは、スパース信号が「広がった」サポートを持つという構造的仮定に依存しており、これは確率的に高い頻度で成立する。
• 十分に小さなℓ₂ノルムの敵対的ノイズに対してもロバストであり、現実的な条件下で安定したリカバリーが保証される。