[論文レビュー] Risk estimation for matrix recovery with spectral regularization

Charles‐Alban Deledalle, Samuel Vaiter+3 more|arXiv (Cornell University)|May 7, 2012

Sparse and Compressive Sensing Techniques参考文献 8被引用数 8

ひとこと要約

本稿では、スティーブンの不偏リスク推定（SURE）を用いたスペクトル正則化を施した行列回復問題に対して、再帰的なリスク推定手法を提案する。スペクトル関数の弱微分を導出し、プロキシマルスプリッティング法を活用することで、不偏リスク推定を用いた自動正則化パラメータ選択を可能にし、核ノルム正則化を用いた行列補完問題において実証されている。

ABSTRACT

In this paper, we develop an approach to recursively estimate the quadratic risk for matrix recovery problems regularized with spectral functions. Toward this end, in the spirit of the SURE theory, a key step is to compute the (weak) derivative and divergence of a solution with respect to the observations. As such a solution is not available in closed form, but rather through a proximal splitting algorithm, we propose to recursively compute the divergence from the sequence of iterates. A second challenge that we unlocked is the computation of the (weak) derivative of the proximity operator of a spectral function. To show the potential applicability of our approach, we exemplify it on a matrix completion problem to objectively and automatically select the regularization parameter.

研究の動機と目的

• スペクトル関数で正則化された行列回復問題における不偏リスク推定の手法を開発すること。
• ノイズが加わった観測値に関して解写像の発散を計算すること、これはSUREの主要な構成要素である。
• 特異値が相異なる場合に特に、スペクトル関数のプロキシマティー作用素の弱微分を導出すること。
• 行列補完問題や関連問題における正則化パラメータ λ の自動的かつ客観的な選択を可能にすること。
• プロキシマルアルゴリズムから生じる非滑らかで閉形式で表現できない解へとSURE理論を拡張すること。

提案手法

• 特異値が相異なる条件下で、特異値分解（SVD）と陰関数定理を用いて、行列値スペクトル関数の弱微分を導出する。
• SVDパrametrizationに陰関数定理を適用し、スペクトル関数のプロキシマティー作用素の微分を計算する。
• 前向き・後向きスプリッティングを用いて反復点 X^(ℓ)(y) を生成し、それらの方向微分 ξ^(ℓ) を観測値 y に関して再帰的に計算する。
• 予測写像 μ(y) = A(X(y)) の発散を、確率的方向 δ ~ N(0, Id_P) におけるモンテカルロ平均を用いて計算する。
• トレース公式を用いて SURE を推定する： SURE(y) = ||y - μ(y)||² - Pσ² + 2σ² div μ(y)、ここで div μ(y) は方向微分を用いて近似される。
• SVD摂動理論から導かれる 2×2 線形方程式系を解き、プロキシマティー作用素の微分を閉形式で計算する。

実験結果

リサーチクエスチョン

• RQ1 解が閉形式で得られない場合、解写像の発散をどのように計算できるか？
• RQ2 特に特異値が相異なる行列に対して、スペクトル関数のプロキシマティー作用素の弱微分は何か？
• RQ3 プロキシマルアルゴリズムを用いた非滑らかで閉形式で表現できない解を有する行列回復問題に、SUREを適用可能か？
• RQ4 核ノルム正則化を用いた行列補完問題において、正則化パラメータ λ を自動的かつ客観的に選択する方法は何か？
• RQ5 SURE理論をスペクトル正則化を施した行列回復問題へと拡張する理論的基盤は何か？

主な発見

• 本稿では、SVD摂動理論を用いて、スペクトル関数のプロキシマティー作用素の弱微分の閉形式表現を導出している。
• 解写像の発散が、プロキシマル反復点を通じて再帰的に計算可能であることが確立され、非滑らか設定下でのSURE推定を可能にしている。
• 解が閉形式で得られない場合であっても、スペクトル正則化を施した行列回復問題に対して不偏リスク推定が可能である。
• 数値的実験により、行列補完問題における正則化パラメータ λ の自動的かつ客観的な選択が可能であることが検証された。
• 理論的枠組みにより、核ノルムのような非滑らかで微分不能な正則化子を有する行列値問題へのSUREの拡張が可能になった。
• 計算的に実行可能でスケーラブルな手法であり、プロキシマル反復点の反復的微分と、発散推定のためのモンテカルロサンプリングに依存している。