[論文レビュー] Low rank Multivariate regression

Christophe Giraud|arXiv (Cornell University)|Sep 27, 2010

Sparse and Compressive Sensing Techniques参考文献 19被引用数 6

ひとこと要約

この論文は、誤差分散が未知である場合の低ランク多変量回帰におけるランク選択の非漸近的基準を提案する。誤差分散が未知である状況においても、高次元設定（$ m < p $）で最適な推定性能を保証する、オракル不等式を証明する。そのために、確率的行列の期待キファンノルムに基づくペナルティを導入する。

ABSTRACT

We consider in this paper the multivariate regression problem, when the target regression matrix $A$ is close to a low rank matrix. Our primary interest in on the practical case where the variance of the noise is unknown. Our main contribution is to propose in this setting a criterion to select among a family of low rank estimators and prove a non-asymptotic oracle inequality for the resulting estimator. We also investigate the easier case where the variance of the noise is known and outline that the penalties appearing in our criterions are minimal (in some sense). These penalties involve the expected value of the Ky-Fan quasi-norm of some random matrices. These quantities can be evaluated easily in practice and upper-bounds can be derived from recent results in random matrix theory.

研究の動機と目的

• 誤差分散が未知である場合の多変量回帰におけるランク選択の課題に取り組む。これは高次元設定において一般的な実用的制限である。
• 既知の分散ケースに限らない低ランク推定の非漸近的理論を拡張する。これは応用においてしばしば現実的でない。
• 推定性能が最適となる理論的根拠に基づいた、データ駆動型のランク選択基準を回帰係数行列 $ A $ のランク選定に提供する。
• 既知の分散および未知の分散の両ケースに対して最小のペナルティを導出し、確率的行列理論と明確な関係を確立する。
• 本手法が主成分分析やその他の低ランク推定問題へ応用可能であることを示す。

提案手法

• 誤差分散 $ \sigma^2 $ が未知の場合のランク選択のための基準 $ {\mathrm{Crit}}(r) = \log(\|Y - X\widehat{A}_r\|^2) + \mathrm{pen}(r) $ を提案。ここで $ \widehat{A}_r $ はランク制約付き最小二乗推定量である。
• ペナルティ $ \mathrm{pen}(r) \geq -\log\left(1 - K \frac{\mathcal{S}_{q\times n}(r)^2}{nm - 1}\right) $ を導出。$ K > 1 $ であり、$ \mathcal{S}_{q\times n}(r) = \mathbb{E}[\|G_{q\times n}\|_{(2,r)}] $ は標準正規行列の期待キファン $ (2,r) $-ノルムである。
• ガウスの濃度不等式および期待キファンノルムのバウンドを用いて、推定誤差の確率的制御を確立する。
• 得られた推定量に対して非漸近的オラクル不等式を確立し、真のランクに対する最適なリスクに近いことが示される。
• 既知の分散ケースでは、$ \mathrm{pen}(r) = \mathcal{S}_{q\times n}(r)^2 $ が最小であり、鋭いリスクバウンドを導くことを示す。
• 行列 $ X $ の特異値分解（SVD）を用い、$ Z = U_q \Sigma_q $ および $ B = V_q^* A $ を用いて、問題を低次元回帰フレームワークに変換する。

実験結果

リサーチクエスチョン

• RQ1 誤差分散 $ \sigma^2 $ が未知である場合、低ランク多変量回帰におけるランク $ r $ を信頼性高く選択する方法は何か？
• RQ2 多変量回帰におけるランク選択において、非漸近的最適性を保証する最小ペナルティは何か？
• RQ3 確率的行列のキファンノルムを用いて、理論的根拠に基づいたデータ駆動型ペナルティをランク選択に構築できるか？
• RQ4 設計行列 $ X $ が悪条件である場合を含め、$ m < p $ の高次元設定において、提案された基準はどのように性能を示すか？
• RQ5 提案された手法は、主成分分析やその他の低ランク推定問題へどの程度拡張可能か？

主な発見

• 提案された基準 $ \mathrm{Crit}(r) = \log(\|Y - X\widehat{A}_r\|^2) + \mathrm{pen}(r) $ で、$ \mathrm{pen}(r) \geq -\log\left(1 - K \frac{\mathcal{S}_{q\times n}(r)^2}{nm - 1}\right) $、$ K > 1 $ である場合、得られる推定量に対して非漸近的オラクル不等式が成立する。
• ペナルティは、モデルクラス全体にわたるリスクを一様に制御するために、いかなるより小さいペナルティよりも最小であることが示されている。
• 既知の分散ケースでは、ペナルティ $ \mathrm{pen}(r) = \mathcal{S}_{q\times n}(r)^2 $ が最小であり、鋭いリスクバウンドを導くことが証明されている。
• 期待キファンノルム $ \mathcal{S}_{q\times n}(r) $ は、モンテカルロ法やマーチェンコ＝パストール則を用いて、$ n, m $ が大きい場合に近似可能であり、実装が可能である。
• 最小最大の収束レートは対数因子を除き最適であり、任意の推定量に対してリスクが $ c_\rho (q + n) r \sigma^2 $ で下から抑えられる。
• 理論的枠組みは $ m < p $ であっても適用可能であり、予測子の数が標本サイズを上回る高次元回帰問題に適している。