[論文レビュー] Selecting thresholding and shrinking parameters with generalized SURE for low rank matrix estimation

Julie Josse, Sylvain Sardy|arXiv (Cornell University)|Oct 24, 2013

Sparse and Compressive Sensing Techniques参考文献 18被引用数 3

ひとこと要約

本稿では、ノイズ分散の知識を必要とせず、最適なしきい値と圧縮パラメータを自動的に選択できる、データ駆動型の一般化されたスティーブ・アンバイアスド・リスク推定（SURE）基準を用いた、低ランク行列推定の一般化されたしきい値処理および圧縮フレームワークを提案する。この手法は、従来の手法と比較して、平均二乗誤差（MSE）およびランク推定性能において優れた性能を達成する。

ABSTRACT

To estimate a low rank matrix from noisy observations, truncated singular value decomposition has been extensively used and studied: empirical singular values are hard thresholded and empirical singular vectors remain untouched. Recent estimators not only truncate but also shrink the singular values. In the same vein, we propose a continuum of thresholding and shrinking functions that encompasses hard and soft thresholding. To avoid an unstable and costly cross-validation search of their thresholding and shrinking parameters, we propose new rules to select these two regularization parameters from the data. In particular we propose a generalized Stein unbiased risk estimation criterion that does not require knowledge of the variance of the noise and that is computationally fast. In addition, it automatically selects the rank of the matrix. A Monte Carlo simulation reveals that our estimator outperforms the tested methods in terms of mean squared error and rank estimation.

研究の動機と目的

• 従来の切り捨て特異値分解（TSVD）の限界を解決すること。TSVDは特異値に対してのみハードしきい値処理を実行し、圧縮を含まない。
• ハードしきい値処理とソフトしきい値処理の両方を一般化する、柔軟なしきい値処理および圧縮関数の族を構築すること。
• しきい値処理および圧縮の正則化パラメータの選択に、計算コストの高い交差検証を必要としないようにすること。
• ノイズ分散の事前知識を必要としない一般化されたSURE基準を提案すること。
• データから最適な低ランク構造（すなわち行列ランク）を自動的に選択すること。

提案手法

• 調整可能なパラメータを介してハードしきい値処理とソフトしきい値処理の間を滑らかに補間する、しきい値処理および圧縮関数の連続的族を提案する。
• 未知のノイズ分散を前提とした低ランク行列推定に特化した一般化されたスティーブ・アンバイアスド・リスク推定（SURE）基準を導入する。
• 一般化されたSURE基準を用いて、データから直接推定量のリスクを推定し、しきい値処理および圧縮パラメータのデータ駆動型選択を可能にする。
• SUREに基づくリスク推定器を用いて、同時に最適なしきい値レベルと圧縮強度を選択する。
• 一般化されたSURE基準の最小化を通じて、推定行列の有効ランクを自動的に決定する。
• ノイズが付加された観測値の特異値分解（SVD）を活用し、反復的交差検証を回避する計算効率の良いアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 ハードまたはソフトしきい値処理の標準的手法を上回る、しきい値処理および圧縮関数の統合フレームワークは、低ランク行列推定を改善できるか？
• RQ2 ノイズ分散の知識を必要とせず、信頼性のあるパラメータ選択を可能にする一般化されたSURE基準を構築できるか？
• RQ3 提案手法は、既存のしきい値処理および圧縮推定量と比較して、より優れた平均二乗誤差（MSE）性能を達成できるか？
• RQ4 事前の知識や交差検証を必要とせず、最適な行列ランクを自動的に選択できるか？
• RQ5 ランク推定の正確性という観点から、提案推定量の性能はどのように比較されるか？

主な発見

• 提案された推定量は、さまざまなシミュレーション設定において、競合手法と比較して低い平均二乗誤差（MSE）を達成する。
• 事前の指定や交差検証を必要とせず、最適な行列ランクを自動的に選択する。
• 一般化されたSURE基準により、ノイズ分散の知識がなくても、高速かつ安定したパラメータ選択が可能になる。
• モンテカルロシミュレーションにより、ベンチマーク手法と比較して、MSEおよびランク推定の正確性の両面で一貫した優位性が示された。
• 異なるノイズレベルおよび低ランク構造の下でも、推定量の性能は頑健であることが確認された。