[論文レビュー] Instance-Optimal Compressed Sensing via Posterior Sampling

Ajil Jalal, Sushrut Karmalkar+2 more|arXiv (Cornell University)|Jun 21, 2021

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、任意の既知の事前分布に従う信号のためのインスタンス最適な圧縮センシング手法として、ラングジュアン・ダイナミクスを用いた事後分布サンプリングを提案する。ガウス測定を用いることで、近似的に最適な回復が達成される。理論的に、事後分布サンプリングが測定複雑度の理論的下界に一致することを証明し、推定事前分布が Wasserstein 距離で真の事前分布に近い場合の分布モデル不一致に対してもロバストであることを示している。

ABSTRACT

We characterize the measurement complexity of compressed sensing of signals drawn from a known prior distribution, even when the support of the prior is the entire space (rather than, say, sparse vectors). We show for Gaussian measurements and \emph{any} prior distribution on the signal, that the posterior sampling estimator achieves near-optimal recovery guarantees. Moreover, this result is robust to model mismatch, as long as the distribution estimate (e.g., from an invertible generative model) is close to the true distribution in Wasserstein distance. We implement the posterior sampling estimator for deep generative priors using Langevin dynamics, and empirically find that it produces accurate estimates with more diversity than MAP.

研究の動機と目的

• スパースまたは構造的集合に限らない、任意の既知の事前分布に従う信号が与えられた場合の圧縮センシングに必要な測定複雑度を同定すること。
• スパースでない分布を含むすべての分布において、事後分布サンプリングがインスタンス最適な回復保証を達成することを確立すること。
• 事前モデル不一致に対するロバストネスを分析し、推定事前分布が Wasserstein 距離で真の事前分布に近い場合に、正確な回復が可能であることを示すこと。
• 深層生成モデルのための事後分布サンプリングの実用的実装を提供し、MAP よりも優れた多様性と精度を示すこと。

提案手法

• 測定ベクトル y と測定行列 A に対して、事後分布 p(x|y,A) からのサンプリングを回復アルゴリズムとして提案する。
• 任意の事前分布における回復に必要な測定複雑度を特徴付けるために、近似被覆数という新しい概念を導入する。
• 事前分布の近似被覆数の観点から、事後分布サンプリングの測定複雑度に対する上界を確立する。
• インスタンス固有の下界を導出することで、事後分布サンプリングの測定複雑度が近似的に最適であることを証明する。
• 減少するノイズと勾配ステップのスケジュールを用いて、深層生成モデルにおける事後分布サンプリングの実装にラングジュアン・ダイナミクスを適用する。
• 推定事前分布 P が真の事前分布 R と Wasserstein 距離で近い場合、P を用いた事後分布サンプリングでも正確な回復が得られることを示すことで、ロバストネスを実証する。

実験結果

リサーチクエスチョン

• RQ1 サポートが R^n 全体にわたる場合を含め、任意の信号分布に対して、事後分布サンプリングがインスタンス最適な圧縮センシング性能を達成できるか？
• RQ2 与えられた事前分布に対して、近似的に最適な回復を達成するための最小測定数（ガウス測定）は何か？
• RQ3 事前モデルの誤差に対して、事後分布サンプリングはどの程度ロバストか？特に、推定事前分布が Wasserstein 距離で真の事前分布に近い場合に注目する。
• RQ4 ラングジュアン・ダイナミクスによる事後分布サンプリングは、画像再構築タスクにおいて MAP よりも多様性と精度に優れた再構築を生成できるか？
• RQ5 圧縮センシングおよびインpainting設定において、事後分布サンプリングの性能は MAP やディープ・デコーダーベースラインと比べてどうか？

主な発見

• 事後分布サンプリングは、任意の事前分布に対して近似的に最適な回復保証を達成する。高確率回復のための測定複雑度は、O(m log(1 + mr²‖A‖∞²/σ²) + log(1/δ)) で抑えられる。
• モデル不一致に対してもロバストである：推定事前分布 P が真の事前分布 R と O(σδ¹ᐟᵖ) の Wasserstein 距離内で近い場合、P を用いた事後分布サンプリングでも正確な回復が得られる。
• 実験的結果から、ラングジュアンに基づく事後分布サンプリングは、圧縮センシングおよびインpaintingタスクにおいて多様で高品質な再構築を生成し、視覚的品質と多様性の面で MAP を上回ることが示された。
• FFHQ および CelebA-HQ における実験では、NCSNv2 および Glow モデルを用いた事後分布サンプリングが、MAP や Deep-Decoder ベースラインよりも優れた再構築品質を達成した。
• 理論的分析により、事後分布サンプリングがインスタンス最適な測定複雑度の下界に一致することが確認され、任意の与えられた事前分布に対して情報理論的に最適であることが示された。
• ラングジュアン・ダイナミクスの使用により、複雑な深層生成事前分布に対する実用的な事後分布サンプリングが可能となり、しばしばぼやけた、多様性の低い出力を生じる MAP アプローチの限界を克服した。