[論文レビュー] Asymptotic Theory for Estimating the Singular Vectors and Values of a Partially-observed Low Rank Matrix with Noise

Juhee Cho, Donggyu Kim+1 more|arXiv (Cornell University)|Aug 21, 2015

Sparse and Compressive Sensing Techniques参考文献 2被引用数 8

ひとこと要約

本稿では、欠損エントリとi.i.d.ノイズで観測される低ランク行列の特異ベクトルおよび特異値のバイアス補正推定量を提案する。部分的観測下でも、完全観測の場合と同等の収束速度を達成し、Koltchinskiiら（2011a）で示された最小最大リスク下限値に達する1ステップ一貫性を持つ行列推定量を構築する。

ABSTRACT

Matrix completion algorithms recover a low rank matrix from a small fraction of the entries, each entry contaminated with additive errors. In practice, the singular vectors and singular values of the low rank matrix play a pivotal role for statistical analyses and inferences. This paper proposes estimators of these quantities and studies their asymptotic behavior. Under the setting where the dimensions of the matrix increase to infinity and the probability of observing each entry is identical, Theorem 4.1 gives the rate of convergence for the estimated singular vectors; Theorem 4.3 gives a multivariate central limit theorem for the estimated singular values. Even though the estimators use only a partially observed matrix, they achieve the same rates of convergence as the fully observed case. These estimators combine to form a consistent estimator of the full low rank matrix that is computed with a non-iterative algorithm. In the cases studied in this paper, this estimator achieves the minimax lower bound in Koltchinskii et al. (2011). The numerical experiments corroborate our theoretical results.

研究の動機と目的

• 観測されたエントリの一部のみが得られ、ノイズで汚されている低ランク行列の特異ベクトルおよび特異値の統計的に妥当な推定量を開発すること。
• 未観測エントリをゼロで補完した行列に標準SVDを適用する際の固有のバイアスを解消すること。このバイアスは特異ベクトルおよび特異値の推定を歪める。
• 行列次元が増加する条件下で、推定特異値の漸近的分布および推定特異ベクトルの収束速度を確立すること。
• 繰り返しSVDや固有値分解を必要としない非反復的1ステップ推定量を構築し、全低ランク行列の最小二乗誤差を最小最大最適化すること。

提案手法

• 観測エントリ確率とノイズ分散から導出された補正項を用いて、ゼロ補完行列に対するナイーブSVDの特異ベクトル推定量をバイアス補正する。
• 行列次元 $ n, d \to \infty $ かつ観測確率 $ p $ が定数であるという仮定の下で、バイアス補正特異ベクトル推定量の収束速度を導出する。
• 高次元的状態下で、バイアス補正特異値が多変量中心極限定理に従い、漸近的に正規分布に従うことを確立する。
• バイアス補正特異ベクトルおよび特異値を組み合わせて、繰り返しSVDや固有値分解を避ける1ステップ推定量 $ \hat{M}(s_0) $ を構築する。
• 推定誤差をフロベニウスノルムで測定し、得られた行列推定量がKoltchinskiiら（2011a）で導出された最小最大下限値に達することを証明する。
• スペクトルノルムを制御するため、ランダム行列理論の道具（Weylの定理および集中不等式）を用いる。

実験結果

リサーチクエスチョン

• RQ1 観測エントリの一部のみが得られ、各エントリがi.i.d.ノイズで汚されている状況において、低ランク行列の特異ベクトルおよび特異値の一貫性を持つ推定量を構築可能か？
• RQ2 部分的観測下での特異ベクトル推定量の収束速度は何か？完全観測の場合と定数倍の差異なしに一致するか？
• RQ3 高次元的漸近的条件下で、推定特異値の分布は多変量正規分布に収束するか？
• RQ4 推定特異ベクトルおよび特異値を用いて、繰り返し処理を必要としない非反復的1ステップ推定量を全低ランク行列の推定に構築可能か？また、その推定量が最小最大最適平均二乗誤差を達成するか？
• RQ5 未観測エントリをゼロで補完することに起因するバイアスは、特異ベクトルおよび特異値の推定にどのような影響を及ぼすか？また、そのバイアスは効果的に補正可能か？

主な発見

• バイアス補正特異ベクトル推定量の収束速度は $ O_p\left(\frac{1}{\sqrt{p}} + \frac{1}{p}\sqrt{\frac{d}{n}}\right) $ であり、$ p $ に依存する定数因子を除いて完全観測の場合と同等の速度を達成する。
• 推定特異値は多変量中心極限定理を満たし、高次元的状態下で漸近的に正規分布に従うことが示された。
• バイアス補正特異ベクトルおよび特異値から構築された1ステップ行列推定量 $ \hat{M}(s_0) $ は、Koltchinskii ら（2011a）で導出された最小最大下限値の平均二乗誤差に達する。
• 全行列推定量のフロベニウスノルム誤差は $ \frac{1}{p b_r^4} O_p(n) $ であり、観測確率 $ p $ が低下するにつれて推定精度が低下するが、定数因子の範囲で最適性を保つ。
• 数値実験により理論的収束速度および特異値推定量の漸近的正規性が確認された。
• ゼロ補完行列に対するナイーブSVDにおけるバイアスが非微小であり、提案された補正機構により体系的に補正可能であることが示された。