[論文レビュー] Optimal Subsampling Approaches for Large Sample Linear Regression

Rong Zhu, Ping Ma+2 more|arXiv (Cornell University)|Sep 17, 2015

Machine Learning and Algorithms参考文献 1被引用数 13

ひとこと要約

本稿では、大規模な線形回帰における最適なサブサンプリング手法を提案し、漸近的理論を用いて最適なサンプリング確率を導出する2つのアルゴリズム—重み付きおよび重みなし推定—を導入する。最適サブサンプリング法はレバレッジスコアに基づき、予測子の長さ法はL2ノルムを用いるが、両者とも計算がスケーラブルで高い効率性を示し、推定精度と計算速度の両面で従来の手法を上回る。

ABSTRACT

A significant hurdle for analyzing large sample data is the lack of effective statistical computing and inference methods. An emerging powerful approach for analyzing large sample data is subsampling, by which one takes a random subsample from the original full sample and uses it as a surrogate for subsequent computation and estimation. In this paper, we study subsampling methods under two scenarios: approximating the full sample ordinary least-square (OLS) estimator and estimating the coefficients in linear regression. We present two algorithms, weighted estimation algorithm and unweighted estimation algorithm, and analyze asymptotic behaviors of their resulting subsample estimators under general conditions. For the weighted estimation algorithm, we propose a criterion for selecting the optimal sampling probability by making use of the asymptotic results. On the basis of the criterion, we provide two novel subsampling methods, the optimal subsampling and the predictor- length subsampling methods. The predictor-length subsampling method is based on the L2 norm of predictors rather than leverage scores. Its computational cost is scalable. For unweighted estimation algorithm, we show that its resulting subsample estimator is not consistent to the full sample OLS estimator. However, it has better performance than the weighted estimation algorithm for estimating the coefficients. Simulation studies and a real data example are used to demonstrate the effectiveness of our proposed subsampling methods.

研究の動機と目的

• 大規模データにおける線形回帰の計算的・統計的課題に対処すること。
• 完全サンプルOLS推定量を最小限の精度損失で近似できる効率的なサブサンプリング手法を開発すること。
• 推定効率の向上を図るため、漸近的理論を用いて最適なサンプリング確率を導出すること。
• レバレッジベースのサブサンプリングの代替として、予測子のL2ノルムを用いたスケーラブルな手法を提案すること。
• シミュレーションおよび実データ設定において、重み付きおよび重みなし推定アルゴリズムの性能を評価・比較すること。

提案手法

• 漸近的分散に基づくサンプリング確率を割り当てる重み付き推定アルゴリズムを提案し、推定量の効率を最適化する。
• サブサンプル推定量の漸近的平均二乗誤差を最小化するサンプリング確率を導出することで、最適サブサンプリング法を導入する。
• 予測子のL2ノルムをレバレッジスコアの代わりに用いることで、計算コストを低減する予測子長サブサンプリング法を開発する。
• 重み付きおよび重みなしアルゴリズムの両者について、一般条件のもとでのサブサンプル推定量の漸近的分布を分析する。
• 漸近的結果を用いて、提案されたサンプリング基準の一貫性および効率性を裏付ける。
• シミュレーション研究および実データ例を用いて、提案手法の性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 線形回帰におけるサブサンプル推定量の漸近的平均二乗誤差を最小化する最適なサンプリング確率分布は何か？
• RQ2 計算効率性および推定精度の観点から、予測子長サブサンプリング法はレバレッジベース手法と比べてどのように異なるか？
• RQ3 なぜ重みなし推定アルゴリズムは完全サンプルOLS推定量に対して一貫性がないのか？また、どのような状況下で重み付き手法を上回る性能を示すのか？
• RQ4 予測子のL2ノルムに基づくサブサンプリング手法は、計算コストを低く抑えつつ、レバレッジベース手法と同等またはそれ以上の性能を達成できるか？
• RQ5 どのような条件下で、提案されたアルゴリズムに基づくサブサンプル推定量が漸近的に正規分布に従い、効率的になるか？

主な発見

• 漸近的理論を用いて導出された最適サブサンプリング法は、サブサンプル推定量の最小可能な漸近的平均二乗誤差を達成する。
• 予測子のL2ノルムに基づく予測子長サブサンプリング法は、計算がスケーラブルなレバレッジベースのサンプリングの代替手段を提供し、同等の精度を実現する。
• 重みなし推定アルゴリズムは完全サンプルOLS推定量に対して一貫性がないが、特定の条件下では係数推定において優れた性能を示す。
• シミュレーション研究により、両提案サブサンプリング手法が完全サンプルOLSと比較して計算コストを顕著に削減しながらも、高い推定精度を維持することが確認された。
• 実データ例により、提案手法が大規模回帰設定において実用的に有効であることが示された。
• 漸近的分析により、重み付きアルゴリズムからのサブサンプル推定量が一般の正則性条件のもとで分布収束すること、正規分布に近づくことが確認された。