[論文レビュー] Correcting for unknown errors in sparse high-dimensional function approximation

Ben Adcock, Anyi Bao+1 more|arXiv (Cornell University)|Nov 21, 2017

Sparse and Compressive Sensing Techniques参考文献 66被引用数 6

ひとこと要約

本稿は、未知の誤差を伴うスパースな高次元関数近似に対して、重み付き$β$-最小化デコーダーとして、2次制約付きベースペース、LASSO、スルーレートLASSO、LAD-LASSOの4つの手法を提案し、分析する。理論的および数値的実験により、ノイズレベルの事前知識を必要とせず、同等または優れた復元性能を達成できることを示しており、他の手法に比べてよりロバストで実用的であることが明らかになった。

ABSTRACT

We consider sparsity-based techniques for the approximation of high-dimensional functions from random pointwise evaluations. To date, almost all the works published in this field contain some a priori assumptions about the error corrupting the samples that are hard to verify in practice. In this paper, we instead focus on the scenario where the error is unknown. We study the performance of four sparsity-promoting optimization problems: weighted quadratically-constrained basis pursuit, weighted LASSO, weighted square-root LASSO, and weighted LAD-LASSO. From the theoretical perspective, we prove uniform recovery guarantees for these decoders, deriving recipes for the optimal choice of the respective tuning parameters. On the numerical side, we compare them in the pure function approximation case and in applications to uncertainty quantification of ODEs and PDEs with random inputs. Our main conclusion is that the lesser-known square-root LASSO is better suited for high-dimensional approximation than the other procedures in the case of bounded noise, since it avoids (both theoretically and numerically) the need for parameter tuning.

研究の動機と目的

• トレンケーション、離散化、数値誤差が存在するが有界でない状況において、高次元関数近似における未知の誤差の課題に対処すること。
• 既存手法が誤差の上限を事前に必要とするという制限を克服し、実世界の応用においてしばしば現実的でない事前知識を必要としないこと。
• スパース性を促進する4つのデコーダーについて、未知の誤差条件下での理論的復元保証を提供し、ロバスト性と一様な性能を確保すること。
• 純粋な関数近似およびパラメトリックODE/PDEの不確実性評価において、これらのデコーダーの数値的性能を評価すること。
• 重み付きスルーレートLASSOがノイズレベルのチューニングに感受性が低いため、実用上優れていることを実証すること。

提案手法

• 重み付き$β$-最小化問題として4つの定式化を行う：重み付き2次制約付きベースペース、重み付きLASSO、重み付きスルーレートLASSO、重み付きLAD-LASSO。
• サンプリング行列に対する制限付き等長性および等長性タイプの条件を用いて、一様かつロバストな復元誤差推定値を導出する。
• 各デコーダーの理論的チューニングパラメータのルールを、スパarsityレベルとノイズ構造に基づいて確立する。特にスルーレートLASSOはノイズレベルに依存しない。
• 実際の誤差モデルを想定し、ランダムな入力を伴う合成関数およびパラメトリックODE/PDE問題にデコーダーを適用して性能を評価する。
• 数値実験を通じて、さまざまな誤差領域における復元精度、安定性、パrameterチューニングへの感受性を比較する。
• LAD-LASSOの変種を分析することで、疎で大きめのノイズ（コルーチャンスエラー）に対してロバストであることを検証する。

実験結果

リサーチクエスチョン

• RQ1 誤差レベルが未知である場合に、スパース性に基づく関数近似に対してロバストな復元保証を確立できるか？
• RQ2 ノイズが未知の状況下で、重み付きLASSO、2次制約付きベースペース、スルーレートLASSOの性能とチューニング感受性はどのように比較できるか？
• RQ3 統計的文脈で示唆されているように、スルーレートLASSOはノイズレベルの知識なしに強力な復元性能を維持できるか？
• RQ4 パラメトリックPDEにおける構造的誤差が、スパース回復手法におけるパrameterチューニングの必要性にどの程度影響を与えるか？
• RQ5 LAD-LASSOデコーダーは、高次元関数近似において疎で大きめのノイズ（コルーチャンスエラー）を効果的に処理できるか？

主な発見

• 重み付きスルーレートLASSOは、ノイズレベルの事前知識が不要であるため、2次制約付きベースペースや標準LASSOとは異なり、一様かつロバストな復元保証を達成する。
• 理論的分析により、4つのデコーダーすべてに対して最適なチューニングルールを提供し、特にスルーレートLASSOのチューニングパラメータは未知のノイズレベルに依存しない。
• 合成関数に対する数値実験により、理論的チューニングルールがすべてのデコーダーで最適な性能をもたらすことが確認された。
• パラメトリックODEおよびPDE問題において、最小限のチューニングでも他の手法と同等または優れた復元精度を示した。
• LAD-LASSOデコーダーは、疎で大きめのノイズ（コルーチャンスエラー）の処理において最も効果的であり、他の手法を上回った。
• 本研究では、構造的誤差パターンのおかげで、現実の問題において慎重なパrameterチューニングが常に必要ではないことが判明したが、その理論的解釈は未解決のままである。