[論文レビュー] On the singular values of the reduced-rank multivariate response regression

Vladislav Kargin|arXiv (Cornell University)|Sep 24, 2014

Random Matrices and Applications参考文献 20被引用数 1

ひとこと要約

本稿は、低ランク構造を有する高次元多変量回帰における係数行列および予測応答行列の特異値を研究する。最大特異値がスケーリングされたTracy-Widom分布に従うことが確立され、これにより新たなランク選択アルゴリズムと漸近的分布が導出された一貫推定量が可能になる。

ABSTRACT

We consider a multivariate linear response regression in which the number of responses and predictors is large and comparable with the number of observations, and the rank of the matrix of regression coefficients is assumed to be small. We study the distribution of singular values for the matrix of regression coefficients and for the matrix of predicted responses. For both matrices, it is found that the limit distribution of the largest singular value is a rescaling of the Tracy-Widom distribution. Based on this result, we suggest algorithms for the model rank selection and compare them with the algorithm suggested by Bunea, She and Wegkamp. Next, we design two consistent estimators for the singular values of the coefficient matrix, compare them, and derive the asymptotic distribution for one of these estimators..

研究の動機と目的

• 低ランク係数行列を有する高次元多変量回帰における特異値の漸近的分布を理解すること。
• 係数行列の特異値の一致推定量を構築すること。
• Tracy-Widom極限に基づく新たなモデルランク選択アルゴリズムを提案すること。
• Bunea, She, and Wegkampの手法など、既存の手法と比較すること。

提案手法

• 係数行列の最大特異値の極限分布をスケーリングされたTracy-Widom分布として導出する。
• 予測応答行列に対しても同様の極限分布を適用する。
• 最大特異値のTracy-Widom分位数に基づくランク選択アルゴリズムを提案する。
• 係数行列の特異値のための2つの一貫推定量を設計する。
• 提案された推定量の1つについて、漸近的分布を導出する。
• 高次元漸近的条件下での漸近的挙動を正当化するために、確率的行列理論を用いる。

実験結果

リサーチクエスチョン

• RQ1 低ランク多変量回帰における係数行列の最大特異値の極限分布は何か？
• RQ2 Tracy-Widom極限は、一貫性のあるモデルランク選択にどのように活用できるか？
• RQ3 係数行列の特異値の一致推定量の性質は何か？
• RQ4 提案された推定量は、有限標本において既存手法と比較してどのように異なるか？
• RQ5 提案された特異値の一致推定量の漸近的分布は何か？

主な発見

• 係数行列の最大特異値の極限分布は、スケーリングされたTracy-Widom分布である。
• 予測応答行列の最大特異値に対しても、同じTracy-Widom極限が適用可能である。
• Tracy-Widom分位数に基づく提案されたランク選択アルゴリズムは、Bunea, She, and Wegkampの手法と同等またはそれ以上の性能を示す。
• 係数行列の特異値のための2つの一貫推定量が提案され、そのうちの1つは漸近的分布が導出された。
• 選択された推定量の漸近的分布が導出され、高次元漸近的条件下で有効であることが示された。
• 理論的結果はシミュレーション比較によって裏付けられ、提案手法の一貫性と正確性が確認された。