[論文レビュー] DECOrrelated feature space partitioning for distributed sparse regression

Xiangyu Wang, David B. Dunson+1 more|arXiv (Cornell University)|Feb 8, 2016

Statistical Methods and Inference参考文献 25被引用数 16

ひとこと要約

本稿では、高次元でサンプルサイズが小さい設定（$p \gg n$）における分散型スパース回帰のための、並列性が明確なフレームワークであるDECOを提案する。特徴量を分割する前に相関を除去することで、分割数に依存しないほぼミニマックス最適に近い収束速度を達成する一貫性のある変数選択とパrameter推定が可能になる。

ABSTRACT

Fitting statistical models is computationally challenging when the sample size or the dimension of the dataset is huge. An attractive approach for down-scaling the problem size is to first partition the dataset into subsets and then fit using distributed algorithms. The dataset can be partitioned either horizontally (in the sample space) or vertically (in the feature space). While the majority of the literature focuses on sample space partitioning, feature space partitioning is more effective when $p\gg n$. Existing methods for partitioning features, however, are either vulnerable to high correlations or inefficient in reducing the model dimension. In this paper, we solve these problems through a new embarrassingly parallel framework named DECO for distributed variable selection and parameter estimation. In DECO, variables are first partitioned and allocated to $m$ distributed workers. The decorrelated subset data within each worker are then fitted via any algorithm designed for high-dimensional problems. We show that by incorporating the decorrelation step, DECO can achieve consistent variable selection and parameter estimation on each subset with (almost) no assumptions. In addition, the convergence rate is nearly minimax optimal for both sparse and weakly sparse models and does NOT depend on the partition number $m$. Extensive numerical experiments are provided to illustrate the performance of the new framework.

研究の動機と目的

• 特徴量の数 $p$ がサンプルサイズ $n$ より著しく大きい状況におけるスパース回帰モデルの適合に課題を提示する。
• 特徴量の相関に敏感であるか、次元削減が非効率である既存の特徴空間分割手法の限界を克服する。
• 計算負荷を軽減しながら統計的精度を維持する、スケーラブルな分散型フレームワークを開発する。
• 高次元特徴量において任意の相関構造が存在する状況でも、一貫性のある変数選択とパrameter推定を可能にする。

提案手法

• 特徴量行列に前処理として相関除去変換を施した後、特徴量空間を分割する新規フレームワーク、DECO（相関除去特徴空間分割）を提案する。
• 相関除去された特徴量を $m$ 個のサブセットに分割し、$m$ 個のワーカーに分散して割り当て、任意の高次元回帰手法を独立に適用する。
• 標本共分散行列の逆行列に基づく相関除去ステップを用いることで、欠落した特徴量によるモデルの誤指定であっても一貫性のある推定が可能になる。
• 全ワーカーからの結果を単純な平均化または統合ルールで統合し、最適な収束速度を持つ最終推定値を生成する。
• 理論的分析により、$ \ell_2$ および $ \ell_\infty$ 範囲における推定誤差が、完全なデータセットを用いた場合に達成可能なミニマックスレートと一致することが示された。
• ベースとなるペナルティ付き回帰手法（例：lasso）の選択に依存しないため、広範な適用性を有する。

実験結果

リサーチクエスチョン

• RQ1 高次元回帰において、任意の特徴量相関に対して頑健な特徴空間分割が可能か？
• RQ2 特徴量の独立性といった強い仮定に依存せず、ミニマックス最適な収束速度を達成する分散型フレームワークは存在するか？
• RQ3 各サブセットモデルが欠落した特徴量により本質的に誤指定されている分散環境でも、一貫性のある変数選択とパrameter推定が可能か？
• RQ4 分割数 $m$ の増加に伴い、分散型フレームワークの性能はどのように変化するか？
• RQ5 計算効率とモデル選択の正確性の両面で、フルデータ推定を上回る性能を達成できるか？

主な発見

• DECOは、スパースおよび弱スパースモデルの両方において、$ \ell_2$ および $ \ell_\infty$ 範囲でほぼミニマックス最適な収束速度を達成し、分割数 $m$ に依存しない。
• 学生の成績データセット（$n=395, p=741, m=5$）では、DECO-3がMSE 3.64、選択された変数は1.5個で、lasso-full（MSE: 3.79）および lasso-naive（MSE: 16.5）を上回った。
• 哺乳類の眼疾患データセット（$n=120, p=5000, m=100$）では、DECO-3がMSE 0.012、選択された特徴量は4.3個で、lasso-full（MSE: 0.012）と同等の性能を示したが、実行時間は9.6秒（lasso-fullは139.0秒）と大幅に短縮された。
• 電力需要データセット（$n=370, p=1,251,980, m=1000$）では、DECO-3がMSE 0.691、選択された特徴量は4個で、lasso-naive（MSE: $3.6 \times 10^8$）および lasso-full（MSE: 2.205）を著しく上回った。
• 大規模な設定において、フルデータのlassoと比較して実行時間を最大99%まで短縮する計算効率の高さを示し、モデル選択の正確性を維持または向上させた。
• 理論的保証と実験的結果により、任意の相関構造に対して頑健であることが示されたが、独立な特徴量グループが存在しない場合でも同様の性能を発揮した。