[論文レビュー] Confidence interval of singular vectors for high-dimensional and low-rank matrix regression.

Dong Xia|arXiv (Cornell University)|May 24, 2018

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿は、行列回帰における高次元的・低ランク行列の特異ベクトルに対する信頼区間の構築を提案する。これは、推定された特異部分空間と真の特異部分空間の間の距離測度の漸近正規性を活用している。ランクと次元に関するスパarsityに類似した条件下で、適切に中心化・標準化された距離の漸近正規性を確立し、任意の事前に指定された水準での有効な信頼区間を可能にする。

ABSTRACT

Let ${\bf M}\in\mathbb{R}^{m_1 imes m_2}$ be an unknown matrix with $r={ m rank}({\bf M})\ll \min(m_1,m_2)$ whose thin singular value decomposition is denoted by ${\bf M}={\bf U}{\bf \Lambda}{\bf V}^{ op}$ where ${\bf \Lambda}={ m diag}(\lambda_1,\cdots,\lambda_r)$ contains its non-increasing singular values. Low rank matrix regression refers to instances of estimating ${\bf M}$ from $n$ i.i.d. copies of random pair $\{({\bf X}, y)\}$ where ${\bf X}\in\mathbb{R}^{m_1 imes m_2}$ is a random measurement matrix and $y\in\mathbb{R}$ is a noisy output satisfying $y={ m tr}({\bf M}^{ op}{\bf X})+\xi$ with $\xi$ being stochastic error independent of ${\bf X}$. The goal of this paper is to construct efficient estimator (denoted by $\hat{\bf U}$ and $\hat{\bf V}$) and confidence interval of ${\bf U}$ and ${\bf V}$. In particular, we characterize the distribution of $$ { m dist}^2\big[(\hat{\bf U},\hat{\bf V}), ({\bf U},{\bf V})\big]=\|\hat{\bf U}\hat{\bf U}^{ op}-{\bf U}{\bf U}^{ op}\|_{ m F}^2+\|\hat{\bf V}\hat{\bf V}^{ op}-{\bf V}{\bf V}^{ op}\|_{ m F}^2. $$ We prove the asymptotical normality of properly centered and normalized ${ m dist}^2\big[(\hat{\bf U},\hat{\bf V}), ({\bf U},{\bf V})\big]$ with data-dependent centering and normalization when $r^{5/2}(m_1+m_2)^{3/2}=o(n/\log n)$, based on which confidence interval of ${\bf U}$ and ${\bf V}$ is constructed achieving any pre-determined confidence level asymptotically.

研究の動機と目的

• 低ランクで高次元の行列の左特異ベクトルおよび右特異ベクトルに対する統計的に妥当な信頼区間を構築すること。
• フロベニウスノルムにおける推定された特異部分空間と真の特異部分空間の間の二乗距離の分布を特定すること。
• 高次元的設定において $ r^{5/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ が成り立つとき、正規化および中心化された距離測度の漸近正規性を確立すること。
• 高次元的状況において、任意の事前に指定された信頼水準での特異部分空間に関する推論を可能にすること。

提案手法

• 未知の低ランク行列を表すために、薄い特異値分解 $ \mathbf{M} = \mathbf{U} \boldsymbol{\Lambda} \mathbf{V}^\top $ を用いる。
• 推論のための主要統計量として、二乗距離 $ \text{dist}^2[(\hat{\mathbf{U}}, \hat{\mathbf{V}}), (\mathbf{U}, \mathbf{V})] = \|\hat{\mathbf{U}}\hat{\mathbf{U}}^\top - \mathbf{U}\mathbf{U}^\top\|_F^2 + \|\hat{\mathbf{V}}\hat{\mathbf{V}}^\top - \mathbf{V}\mathbf{V}^\top\|_F^2 $ を定義する。
• 距離統計量に対してデータ依存の中心化および正規化を施し、漸近正規性を達成する。
• 条件 $ r^{5/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ の下で漸近分布を導出する。これにより、$ n \to \infty $ の際に正規近似が成立することが保証される。
• 正規化された距離の漸近正規性に基づき、$ \mathbf{U} $ および $ \mathbf{V} $ に対する信頼区間を構築する。

実験結果

リサーチクエスチョン

• RQ1 高次元的低ランク行列回帰において、左特異ベクトル $ \mathbf{U} $ に対して信頼区間を構築できるか？
• RQ2 同じモデルのもとで、右特異ベクトル $ \mathbf{V} $ に対しても同様に信頼区間を構築できるか？
• RQ3 フロベニウスノルムにおける推定された特異部分空間と真の特異部分空間の間の距離の漸近分布は何か？
• RQ4 正規化および中心化された距離統計量が正規分布に収束する条件は何か？

主な発見

• 本稿は、推定された特異部分空間と真の特異部分空間の間の二乗距離の適切に中心化・標準化されたバージョンの漸近正規性を確立した。
• 漸近正規性は条件 $ r^{5/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ の下で成立し、$ m_1, m_2 $ が増大する高次元的状況で、$ r $ が中程度の範囲にとどまる場合に有効である。
• 信頼区間 $ \mathbf{U} $ および $ \mathbf{V} $ は、漸近的に任意の事前に指定された信頼水準を達成する。
• この手法はデータ依存の中心化および正規化に依存しており、実用的実装が可能である。
• この結果により、誤差分布に強いパラメトリック仮定を必要とせず、独立性の仮定のみを除き、特異部分空間に関する妥当な統計的推論が可能になる。