[論文レビュー] Adaptive Estimation in Two-way Sparse Reduced-rank Regression

Zhuang Ma, Zongming Ma+1 more|arXiv (Cornell University)|Mar 8, 2014

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿では、高次元係数行列における低ランク構造と行・列スパarsityの両方を同時に強制する、二方向スパース低ランク回帰における新たな適応的推定手法を提案する。この手法は、複数の二乗シュレーディンガーノルムにおいて近似的に最適なミニマックス推定レートを達成し、理論的保証を有するとともに、神経画像データ上での有効性が示された。

ABSTRACT

This paper studies the problem of estimating a large coefficient matrix in a multiple response linear regression model when the coefficient matrix could be both of low rank and sparse in the sense that most nonzero entries concentrate on a few rows and columns. We are especially interested in the high dimensional settings where the number of predictors and/or response variables can be much larger than the number of observations. We propose a new estimation scheme, which achieves competitive numerical performance and at the same time allows fast computation. Moreover, we show that (a slight variant of) the proposed estimator achieves near optimal non-asymptotic minimax rates of estimation under a collection of squared Schatten norm losses simultaneously by providing both the error bounds for the estimator and minimax lower bounds. The effectiveness of the proposed algorithm is also demonstrated on an extit{in vivo} calcium imaging dataset.

研究の動機と目的

• 両方の低ランク構造と二方向スパarsity（行および列）が存在する高次元多変量回帰において、大規模で構造的な係数行列を推定する課題に対処すること。
• 統合された推定スキームを提案することで、従来の手法の限界を克服し、低ランクとスパarsityの共同構造に適応する。
• 非漸近的ミニマックス下界を確立し、提案された推定量がさまざまな二乗シュレーディンガーノルム損失の下で近似的に最適なレートを達成することを示す。
• n ≪ p および/または n ≪ m である高次元設定において、理論的性能保証を維持しながら計算効率を確保すること。

提案手法

• 低ランク構造のための核ノルムペナルティと、行および列スパarsityのためのグループラasso型ペナルティを組み合わせた新しい推定スキームを提案する。
• 先行研究から共有された排他的抽出アルゴリズムを用い、係数行列のスパース成分のサポートを効率的に同定する。
• 正則化最小二乗の目的関数として定式化し、合成ペナルティを導入する：||Y - XA||_F^2 / 2 + λ₁||A||_* + λ₂||A||_{2,1} + λ₃||A^T||_{2,1}。これにより、低ランクとグループスパース構造のバランスがとられる。
• スパース固有値条件および集中不等式を用いた、ハイドライディック統計の道具を用いて理論的誤差バインディングを導出する。
• テストベースのアプローチを用い、Lemma 9 とパrameter space Θ(s,r,d,γ) の構造を活用してミニマックス下界を確立する。
• グループラasso定理（定理3）の変種を適用し、サブガウスノイズ下での非漸近的誤差バインディングを導出。サンプルサイズ、スパarsity、ランクに明示的な依存関係を示す。

実験結果

リサーチクエスチョン

• RQ1 高次元多変量回帰において、低ランクと二方向スパarsityの両方を同時に捉える統合的推定手順を開発できるか？
• RQ2 この共同構造下で、さまざまな二乗シュレーディンガーノルム損失の下での係数行列のミニマックス最適推定レートは何か？
• RQ3 提案された推定量は、複数の損失関数にわたる非漸近的誤差バインディングにおいて近似的に最適性を達成するか？
• RQ4 理論的最適性を維持しつつ、既存の手法と比較して計算効率はどのようにか？
• RQ5 本手法は、高次元の応答変数と予測変数を有する現実の神経画像データに効果的に適用可能か？

主な発見

• 提案された推定量は、すべての二乗シュレーディンガーノルム損失において、同時に近似的に最適な非漸近的ミニマックス推定レートを達成する。
• ミニマックス下界は c(r^{2/q - 1}d^2) ∧ (r^{2/q - 1}(s log(ep/s) + k log(em/k))) として確立され、二方向スパース低ランクモデル下での推定の根本的限界が示された。
• グループラasso型の結果（定理3）を用いて理論的誤差バインディングを導出し、適切な設計およびノイズ条件の下で推定量の誤差が O(√s λ) のスケーリングを示す。
• 高確率で、||Â - A||_F ≤ C √s λ / κ²_-(s*) の形の誤差バインディングが達成され、ここで κ²_-(s*) は最小固有値条件数である。
• 排他的抽出アルゴリズムと構造化最適化の活用により、計算が効率的であり、高次元設定でも高速な計算が可能である。
• 生体カルシウムイメージングデータセットを用いた実証的検証により、高次元の応答変数と予測変数を有する現実の神経画像アプリケーションにおいて、本手法の有効性が確認された。