[論文レビュー] Frames and numerical approximation II: generalized sampling

Ben Adcock, Daan Huybrechs|arXiv (Cornell University)|Feb 6, 2018

Image and Signal Denoising Methods参考文献 20被引用数 12

ひとこと要約

本稿は、関数値などの任意の線形作用素によるサンプリングを許容するように、フレームに基づく数値近似を一般化する。また、最小二乗法の定式化において過剰サンプリングを導入する。過剰サンプリングにより、近似精度が 𝒪(√ε) から 𝒪(ε) に向上し、悪条件な系に対しても安定的かつ高精度な計算が可能になることが示された。

ABSTRACT

In a previous paper [Adcock & Huybrechs, 2019] we described the numerical approximation of functions using redundant sets and frames. Redundancy in the function representation offers enormous flexibility compared to using a basis, but ill-conditioning often prevents the numerical computation of best approximations. We showed that, in spite of said ill-conditioning, approximations with regularization may still provide accuracy up to order $\sqrtε$, where $ε$ is a small truncation threshold. When using frames, i.e. complete systems that are generally redundant but which provide infinite representations with coefficients of bounded norm, this accuracy can actually be achieved for all functions in a space. Here, we generalize that setting in two ways. We assume information or samples from $f$ from a wide class of linear operators acting on $f$, rather than inner products associated with the best approximation projection. This enables the analysis of fully discrete approximations based, for instance, on function values only. Next, we allow oversampling, leading to least-squares approximations. We show that this leads to much improved accuracy on the order of $ε$ rather than $\sqrtε$. Overall, we demonstrate that numerical function approximation using redundant representations may lead to highly accurate approximations in spite of having to solve ill-conditioned systems of equations.

研究の動機と目的

• 内積を超えて、点評価などの一般線形サンプリング作用素を含む、フレームに基づく数値近似の拡張。
• 過剰サンプリングと最小二乗法を用いた完全離散近似の安定性と精度の分析。
• 過剰サンプリングにより、誤差バウンドを 𝒪(√ε) から 𝒪(ε) に低減できることの実証。
• 特に、レジェンドルノードのような構造的サンプリング点に対して、安定なサンプリングレートが存在する条件の確立。
• 正則化と過剰サンプリングを組み合わせることで、悪条件なグラム行列に対しても高精度かつ安定した計算が可能になる理論的・数値的証拠の提供。

提案手法

• 内積に限らない、任意の有界線形作用素によるサンプリングを許容する近似フレームワークの一般化。
• サンプル数 M が基底関数の数 N よりも大きい（M = γN）過剰サンプリングを用いた最小二乗法の定式化。
• 冗長フレームに起因する悪条件な線形方程式系の解を安定化させるために、しきい値 ε を用いた切り捨て特異値分解（Tikhonov正則化）を適用。
• 条件数と近似誤差の理論的バウンドを導出し、ε とサンプリング構造に依存する依存関係を示す。
• グラム行列と安定性定数を高精度算術および特別な求積法を用いて正確に計算。
• 安定性と収束特性を比較するため、レジェンドル点と等間隔点をテストサンプリング集合として用いる。

実験結果

リサーチクエスチョン

• RQ1 フレームに基づく近似は、内積を超えて関数値や他の線形サンプリング作用素を含めるように一般化可能か？
• RQ2 一般化されたサンプリング枠組みにおいて、過剰サンプリングは、正則化付きの標準的最良近似と比較して、近似精度を向上させるか？
• RQ3 過剰サンプリング係数 γ と近似の安定性（特に条件数と誤差バウンド）との関係は何か？
• RQ4 異なるサンプリング点分布（例：レジェンドル点 vs. 等間隔点）は、一般化されたサンプリング法の安定性と収束にどのように影響するか？
• RQ5 過剰サンプリングと最小二乗法の定式化により、理論的誤差バウンドを 𝒪(√ε) から 𝒪(ε) に改善できるか？

主な発見

• 過剰サンプリングと最小二乗法の定式化により、近似誤差は 𝒪(ε) でバウンドされ、非過剰サンプリングの場合の 𝒪(√ε) に比べて顕著な向上が達成された。
• レジェンドル点では、線形過剰サンプリング（γ > 1）により、安定性定数 κᴹ,ᴺ^ε と λᴹ,ᴺ^ε が安定的かつ小さいままであり、安定収束を示している。
• 一方、等間隔点では、条件数が 1/ε に近づくのを避けるために、超線形的過剰サンプリングが必要であり、不安定性を示している。
• 条件数の理論的上界は 𝒪(1/ε) であるが、これは主に漸近的でない領域でのみ達成される。十分な過剰サンプリングにより、上界は小さな定数に安定化する。
• 数値実験により、レジェンドルノードと十分な過剰サンプリングを用いることで、誤差が 𝒪(ε) のレートで収束することが確認され、理論的分析の妥当性が裏付けられた。
• ガウス＝レジェンドル求積法の重みを用いた離散正規化により、安定性が向上し、κᴹ,ᴺ^ε と λᴹ,ᴺ^ε の定数が低減され、精度が向上した。