[論文レビュー] Generalized SURE for optimal shrinkage of singular values in low-rank matrix denoising

Jérémie Bigot, Charles Deledalle+1 more|arXiv (Cornell University)|May 24, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用数 14

ひとこと要約

本稿は、指数型分布族ノイズモデル下での低ランク行列ノイズ除去における特異値の最適化された縮小のための一般化されたスティーブンの不偏リスク推定（GSURE）を導入する。ガウス分布、ガンマ分布、ポアソン分布に適用可能なSURE型の公式を活用し、データ駆動型スペクトル推定器を導出し、リスクを最小化する。理論的保証と有限標本および漸近的設定下での数値的検証が行われる。

ABSTRACT

We consider the problem of estimating a low-rank signal matrix from noisy measurements under the assumption that the distribution of the data matrix belongs to an exponential family. In this setting, we derive generalized Stein's unbiased risk estimation (SURE) formulas that hold for any spectral estimators which shrink or threshold the singular values of the data matrix. This leads to new data-driven spectral estimators, whose optimality is discussed using tools from random matrix theory and through numerical experiments. Under the spiked population model and in the asymptotic setting where the dimensions of the data matrix are let going to infinity, some theoretical properties of our approach are compared to recent results on asymptotically optimal shrinking rules for Gaussian noise. It also leads to new procedures for singular values shrinkage in finite-dimensional matrix denoising for Gamma-distributed and Poisson-distributed measurements.

研究の動機と目的

• ガウス分布の仮定を越えて、低ランク行列ノイズ除去における最適特異値縮小の一般枠組みを構築すること。
• 連続的および離散的ケース（ガンマ分布およびポアソン分布を含む）を含む指数型分布族へのスティーブンの不偏リスク推定（SURE）の拡張すること。
• 信号ランクやノイズ分散の事前知識なしに、リスクを最小化するデータ駆動型スペクトル推定器を導出すること。
• スパikedポピュレーションモデル下での提案推定器の漸近的挙動を分析し、ガウスノイズ下での既知の最適ルールと比較すること。
• モンテカルロ法および一次近似技術を用いて、線形時間で一般化されたSUREおよびその近似を計算する実用的手順を提供すること。

提案手法

• 任意のスペクトル推定器（特異ベクトルを保存しつつ特異値を縮小する）に適用可能な、指数型分布族モデルにおけるリスク推定の一般化されたSURE（GSURE）の公式を導出する。
• 三つのリスク推定バリエーションを提案：連続的指数型分布族に適したSUKLS、離散的ケースに適したPURE、ポアソン分布に適したPUKLA。これらはすべて、発散およびスコア関数の近似に基づく。
• モンテカルロサンプリングを用いてGSUREにおける発散項を不偏に推定し、O(nm)時間でリスク推定を効率的に計算可能にする。
• PUREおよびPUKLAのリスク推定器を計算するために一次近似を適用し、[LS01, SS03, Ede05]のSVDに基づく公式を用いて縮小関数の方向微分を求める。
• データ行列のSVDを用いて、縮小関数の方向微分を特異値および特異ベクトルの項で表現し、リスク推定器の高速評価を可能にする。
• 合成データ上で本手法を数値的に検証し、ガウスモデルおよびポアソンモデル下での既知の最適ルールと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが指数型分布族に従う場合に、低ランク行列ノイズ除去におけるスペクトル推定器に対して一般化されたSUREを導出できるか？
• RQ2 スパikedポピュレーションモデル下で、提案されたデータ駆動型縮小ルールは、ガウス分布の場合の漸近的最適ルールとどのように比較されるか？
• RQ3 ガンマ分布およびポアソン分布観測値に対するGSUREに基づく推定器の計算的および統計的性質は何か？
• RQ4 有限次元設定下で、SUREおよびその近似を効率的に計算する線形時間アルゴリズムを開発できるか？
• RQ5 非ガウス分布ノイズモデルのリスク推定枠組みにおいて、自由度の役割は何か？

主な発見

• 本稿では、ガウス分布、ガンマ分布、ポアソン分布を含む任意の指数型分布族に適用可能な一般化されたSUREの公式を導出し、スペクトル推定器における不偏リスク推定を可能にする。
• ガウス分布の場合、提案されたGSUREは古典的SUREに簡約され、スパikedポピュレーションモデル下で漸近的に最適となる。
• 本手法は、ガンマ分布およびポアソン分布観測値に対する新たなデータ駆動型縮小ルールを提供し、数値実験によりノイズ除去性能の向上が実証されている。
• モンテカルロ法および一次近似を用いることで、リスク推定器はO(nm)時間で計算可能であり、大規模行列へのスケーラビリティを実現する。
• 漸近的状態では、提案された推定器の性能は、ガウスノイズ下での既知の漸近的最適ルールと同等であり、理論的整合性が確認される。
• 真の信号ランクやノイズ分散の知識が不要であるため、本フレームワークは実用的応用性を高める。