[論文レビュー] Confidence Region of Singular Subspaces for Low-rank Matrix Regression

Dong Xia|arXiv (Cornell University)|May 24, 2018

Sparse and Compressive Sensing Techniques参考文献 43被引用数 4

ひとこと要約

本稿では、トレース回帰モデルにおける低ランク行列の特異部分空間の漸近的有効な信頼領域を構築するための2段階のアンバイアス化手順を提案する。条件 $ r^{3/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ の下で、推定された特異部分空間と真の特異部分空間の間の連合射影距離の漸近正規性を確立し、任意の事前に指定された水準でのデータ依存型信頼領域を可能にする。

ABSTRACT

Low-rank matrix regression refers to the instances of recovering a low-rank matrix based on specially designed measurements and the corresponding noisy outcomes. In the last decade, numerous statistical methodologies have been developed for efficiently recovering the unknown low-rank matrices. However, in some applications, the unknown singular subspace is scientifically more important than the low-rank matrix itself. In this article, we revisit the low-rank matrix regression model and introduce a two-step procedure to construct confidence regions of the singular subspace. The procedure involves the de-biasing for the typical low-rank estimators after which we calculate the empirical singular vectors. We investigate the distribution of the joint projection distance between the empirical singular subspace and the unknown true singular subspace. We specifically prove the asymptotical normality of the joint projection distance with data-dependent centering and normalization when $r^{3/2}(m_1+m_2)^{3/2}=o(n/\log n)$ where $m_1, m_2$ denote the matrix row and column sizes, $r$ is the rank and $n$ is the number of independent random measurements. Consequently, we propose data-dependent confidence regions of the true singular subspace which attains any pre-determined confidence level asymptotically. In addition, non-asymptotical convergence rates are also established. Numerical results are presented to demonstrate the merits of our methods.

研究の動機と目的

• 量子状態トモグラフィー、位相再構成、ブラインドデコンボリューションなどの応用分野において、しばしば低ランク行列そのものよりも特異部分空間の方が科学的により関連性が高いことから、特異部分空間に関する統計的推論のニーズに対処すること。
• 任意の事前に指定された信頼水準に漸近的に達する真の特異部分空間の信頼領域を構築すること。
• トレース回帰モデル下での特異部分空間推定に対する漸近的および非漸近的収束速度を確立すること。
• 真の信号が特異部分空間である低ランク行列回復における不確実性の定量的評価の理論的根拠を提供すること。

提案手法

• 標準的な低ランク行列推定器のアンバイアス化による、特異部分空間推定におけるバイアスを是正する2段階手順の第一段階。
• 第二段階として、アンバイアス化推定器から得られる経験的特異ベクトルを用いて推定された特異部分空間を構築すること。
• データに依存する中心化および正規化の下で、経験的および真の特異部分空間間の連合射影距離の漸近分布を導出すること。
• 条件 $ r^{3/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ の下で、連合射影距離の漸近正規性を証明し、有効な推論を保証すること。
• リプシッツ性と集中不等式に依存して、経験過程の逸脱を制御するための対称化および条件付き期待値の技術を用いること。
• 行列集中と作用素ノルムのバインドを用いて、アンバイアス化フレームワーク内の確率的行列成分の挙動を制御すること。

実験結果

リサーチクエスチョン

• RQ1 トレース回帰モデルにおける低ランク行列の特異部分空間に対して、有効な信頼領域を構築できるか？
• RQ2 経験的および真の特異部分空間間の連合射影距離が正規分布に収束する条件は何か？
• RQ3 低ランク行列推定器のバイアスをどのように是正すれば、特異部分空間に関する正確な推論が可能になるか？
• RQ4 提案された枠組み下での特異部分空間推定に対する非漸近的収束速度は何か？
• RQ5 この手法は、漸近的に任意の事前に指定された信頼水準に達するか？

主な発見

• 条件 $ r^{3/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ の下で、データに依存する中心化および正規化の下で、経験的および真の特異部分空間間の連合射影距離は漸近的に正規分布に従う。
• 提案手法により、任意の事前に指定された信頼水準に漸近的に達する真の特異部分空間のデータ依存型信頼領域が得られる。
• 非漸近的収束速度が特異部分空間推定に対して確立され、真の部分空間からの逸脱が定量的に評価される。
• アンバイアス化手順は、標準的な低ランク推定器のバイアスを効果的に除去し、特異部分空間に関する有効な推論を可能にする。
• 対称化、条件付き期待値、および確率的行列成分における測度の集中の技術を用いて、理論的保証が得られる。
• 量子状態トモグラフィー、位相再構成、ブラインドデコンボリューションなどの主要な応用分野に適用可能であり、ここでは特異部分空間が主な関心対象である。