[論文レビュー] Adaptive Sparse Reduced-rank Regression

Zongming Ma, Tingni Sun|arXiv (Cornell University)|Mar 8, 2014

Sparse and Compressive Sensing Techniques参考文献 37被引用数 23

ひとこと要約

本稿では、係数行列がスパースかつ低ランクである高次元複数応答線形モデルに対して、新たなアダプティブスパース低ランク回帰手法を提案する。スパースおよび低ランクペナルティを組み合わせることで、複数の二乗シュタットンノルムにおいて近似的に最適な推定レートを達成するとともに、最先端手法と比較して計算コストを顕著に低減する。

ABSTRACT

This paper studies the problem of estimating a large coefficient matrix in a multiple response linear regression model when the coefficient matrix is both sparse and of low rank. We are especially interested in the high dimensional settings where the number of predictors and/or response variables can be much larger than the number of observations. We propose a new estimation scheme, which achieves competitive numerical performance while significantly reducing computation time when compared with state-of-the-art methods. Moreover, we show the proposed estimator achieves near optimal non-asymptotic minimax rates of estimation under a collection of squared Schatten norm losses simultaneously by providing both the error bounds for the estimator and minimax lower bounds. In particular, such optimality results hold in the high dimensional settings.

研究の動機と目的

• 係数行列がスパースかつ低ランクである高次元複数応答回帰問題に対処すること。
• 既存の最先端手法よりも高速である計算効率の高い推定手法を開発すること。
• さまざまな二乗シュタットンノルム損失の下で推定量の非漸近的ミニマックス最適性を確立すること。
• 高次元設定において成り立つ推定誤差の理論的保証を提供すること。

提案手法

• 本手法は、係数行列にスパース性と低ランク構造を同時に誘導する、新しいペナルティ構造を採用する。
• スパース性検出の向上と推定精度の向上を図るため、アダプティブ重み付けを用いる。
• スケーラブルな最適化フレームワークを設計し、高次元設定における高速な計算を可能にする。
• 推定誤差の評価に、シュタットン p-ノルムを活用して複数の行列ノルムにわたる性能を評価する。
• 理論的分析では、推定量の誤差バウンドとミニマックス下界を組み合わせ、最適性を確立する。

実験結果

リサーチクエスチョン

• RQ1 統一的な推定手法は、高次元多次元回帰においてスパース性と低ランク構造を同時に達成できるか？
• RQ2 提案手法は、複数の二乗シュタットンノルム損失において近似的に最適な推定レートを達成するか？
• RQ3 提案手法の計算効率は、既存の最先端手法と比較してどのように異なるか？
• RQ4 高次元設定における推定量の非漸近的誤差バウンドは何か？

主な発見

• 提案された推定量は、複数の二乗シュタットンノルム損失の下で、非漸近的ミニマックス最適レートに近い推定性能を達成する。
• 既存の最先端手法と比較して、計算時間を顕著に短縮する一方で、競争力のある数値的性能を維持する。
• 理論的分析により、推定量が高次元設定でミニマックス最適であることが確認される。
• アダプティブ重み付けスキームにより、スパース回復が向上し、推定精度が向上する。