[論文レビュー] Estimation of (near) low-rank matrices with noise and high-dimensional scaling

Sahand Negahban, Martin J. Wainwright|ArXiv.org|Dec 27, 2009

Sparse and Compressive Sensing Techniques参考文献 54被引用数 44

ひとこと要約

本稿は、高次元スケーリングおよびノイズのある観測下で（近似的に）低ランク行列を推定するための核ノルム正則化M推定量を提案する。観測演算子の制限付き強い凸性と、スペクトルノルムに比例する正則化パラメータに依存する非漸近的フロベニウスノルム誤差バウンドを確立し、行列のランクが標本サイズおよび次元に対して小さい設定において一貫した回復を達成する。

ABSTRACT

High-dimensional inference refers to problems of statistical estimation in which the ambient dimension of the data may be comparable to or possibly even larger than the sample size. We study an instance of high-dimensional inference in which the goal is to estimate a matrix $Θ^* \in eal^{k imes p}$ on the basis of $N$ noisy observations, and the unknown matrix $Θ^*$ is assumed to be either exactly low rank, or ``near'' low-rank, meaning that it can be well-approximated by a matrix with low rank. We consider an $M$-estimator based on regularization by the trace or nuclear norm over matrices, and analyze its performance under high-dimensional scaling. We provide non-asymptotic bounds on the Frobenius norm error that hold for a general class of noisy observation models, and then illustrate their consequences for a number of specific matrix models, including low-rank multivariate or multi-task regression, system identification in vector autoregressive processes, and recovery of low-rank matrices from random projections. Simulation results show excellent agreement with the high-dimensional scaling of the error predicted by our theory.

研究の動機と目的

• 環境次元が標本サイズと同等またはそれ以上である高次元行列推定問題に対処すること。
• 正確または近似的に低ランクである行列の回復に向けた核ノルム正則化の性能を分析すること。
• 一般のノイズのある観測モデル下でフロベニウスノルムにおける非漸近的誤差バウンドを導出すること。
• 特に制限付き強い凸性を介して、高次元設定における一貫した回復が可能となる条件を確立すること。
• 観測演算子のスペクトルノルムに基づいた正則化パラメータの選択の理論的基盤を提供すること。

提案手法

• 未知行列 $\Theta^*$ を $N$ 個のノイズのある観測に写像する線形演算子 $\mathfrak{X}$ を用いた一般観測モデルを定式化する。
• 低ランク構造を促進するために、核ノルム（特異値の和）で正則化されたM推定量を提案する。
• 観測演算子 $\mathfrak{X}$ の制限付き強い凸性（RSC）特性を分析することで、非漸近的誤差バウンドを確立する。
• ガウス濃度不等式およびランダム行列理論を用いて、推定量の誤差に関する高確率バウンドを導出する。
• バイアスとばらつきの最適なトレードオフを保証するために、ノイズ演算子のスペクトルノルムに比例するデータに依存する正則化パラメータを導出する。
• 一般理論を、多次元回帰、ベクトル自己回帰過程、およびランダムプロジェクションに基づく行列回復といった特定のモデルに適用する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、ノイズのある高次元観測から低ランク行列を一貫して推定できるか？
• RQ2 N および $\min\{k,p\}$ が両方とも増加する非漸近的設定において、核ノルム正則化はどのように機能するか？
• RQ3 観測演算子のスペクトルノルムに基づいて、正則化パラメータの最適な選択は何か？
• RQ4 制限付き強い凸性（RSC）条件は、高次元行列推定における誤差バウンドにどのように影響するか？
• RQ5 理論的誤差バウンドは、シミュレーションスタディにおける実効性能とどの程度一致するか？

主な発見

• 核ノルム正則化推定量のフロベニウスノルム誤差は、高確率で $\sqrt{r(k+p)/N}$ に比例する項によってバウンドされる。ここで $r$ はランク、$k,p$ は行列の次元である。
• 誤差バウンドは、観測演算子 $\mathfrak{X}$ の制限付き強い凸性（RSC）定数に依存しており、一貫した回復を保証する十分な湾曲性を確保する。
• 正則化パラメータは、ノイズ演算子のスペクトルノルムに比例して設定すべきであり、推定バイアスとばらつきの最適なバランスを保証する。
• ランダムプロジェクションモデルでは、理論がシミュレーション結果と一致する誤差スケーリングを予測し、高次元スケーリングの挙動を確認する。
• 導出されたバウンドは、正確に低ランクでない行列（近似的に低ランク）に対しても成り立ち、後者では近似誤差に関連する許容誤差項が必要となる。
• 解析により、核ノルムがランク最小化の凸近似として機能し、高次元スケーリング下で一貫した回復を可能にすることが確認された。