[論文レビュー] Optimal subsampling for quantile regression in big data

HaiYing Wang, Yanyuan Ma|arXiv (Cornell University)|Jan 28, 2020

Statistical Methods and Inference参考文献 20被引用数 5

ひとこと要約

本稿は、大規模データにおける分位数回帰のための最適サブサンプリング手法を提案し、2種類の最適確率（応答密度に依存しないものと、容易に実装可能なもの）を用いて漸近的分散を最小化する。反復的サブサンプリング手順により計算スケーラビリティを確保し、密度推定を伴わずに標準誤差推定が可能となり、大規模データセットにおいて漸近的最適性とロバストな推論を達成する。

ABSTRACT

We investigate optimal subsampling for quantile regression. We derive the asymptotic distribution of a general subsampling estimator and then derive two versions of optimal subsampling probabilities. One version minimizes the trace of the asymptotic variance-covariance matrix for a linearly transformed parameter estimator and the other minimizes that of the original parameter estimator. The former does not depend on the densities of the responses given covariates and is easy to implement. Algorithms based on optimal subsampling probabilities are proposed and asymptotic distributions and asymptotic optimality of the resulting estimators are established. Furthermore, we propose an iterative subsampling procedure based on the optimal subsampling probabilities in the linearly transformed parameter estimation which has great scalability to utilize available computational resources. In addition, this procedure yields standard errors for parameter estimators without estimating the densities of the responses given the covariates. We provide numerical examples based on both simulated and real data to illustrate the proposed method.

研究の動機と目的

• 従来の最適化手法が遅すぎるため、大規模データセットにおける分位数回帰の計算負荷を軽減すること。
• 説明変数の下での応答の密度が未知であるため、分位数回帰における漸近的分散・共分散行列の推定の課題を克服すること。
• 分位数回帰推定量の漸近的平均二乗誤差を最小化する最適サブサンプリング確率を開発すること。
• スケーラビリティを向上させるとともに、密度推定を伴わずに標準誤差推定が可能な反復的サブサンプリングアルゴリズムを提案すること。
• 提案されたサブサンプリングフレームワーク下での推定量の理論的漸近的分布および最適性を確立すること。

提案手法

• データとサブサンプリングの2つのランダム要因を考慮した一般化サブサンプリング推定量の漸近的分布を導出する。
• 2種類の最適サブサンプリング確率を提案：1つは元のパラメータ推定量の漸近的分散・共分散行列のトレースを最小化するもの、もう1つは線形変換されたパラメータ推定量を対象とするもの。
• 後者のバージョンは、説明変数の下での応答の条件付き密度を必要としないため、実装が容易である。
• 変換されたパラメータに対する最適確率に基づく反復的サブサンプリング手順を設計し、スケーラビリティと計算効率を向上させる。
• 反復的手順を用いて、応答の密度を推定することなく標準誤差を推定し、推論を簡素化する。
• 提案されたサブサンプリング方式下での推定量の漸近的正規性および漸近的最適性を確立する。

実験結果

リサーチクエスチョン

• RQ1 大規模データにおける分位数回帰のための最適サブサンプリング確率を、漸近的平均二乗誤差を最小化するようにどのように導出できるか？
• RQ2 統計的効率性を維持しつつ、推論を可能にする形で、サブサンプリングをスケーラブルかつ計算的に効率的に行えるか？
• RQ3 説明変数の下での応答の密度推定を必要とせずに、分位数回帰の標準誤差をどのように推定できるか？
• RQ4 最適サブサンプリング確率の下で、サブサンプリング推定量の漸近的分布は何か？
• RQ5 反復的サブサンプリング手順は、分割統合法と比較して、計算時間および推定精度の面でどのように異なるか？

主な発見

• 提案手法は、最適サブサンプリング確率の下で、漸近的分散・共分散行列のトレースを最小化することで、漸近的最適性を達成する。
• 線形変換されたパラメータ推定量の分散を最小化する最適確率のバージョンは、説明変数の下での応答の未知密度に依存しないため、実装が容易である。
• 数値実験の結果、95%信頼区間の被覆確率が、小さなサブサンプルサイズ（n₀ = 1000）と大きな全データ（N = 10⁶）でも名目水準（例：約95%）に近く、信頼性の高い推論が可能であることが示された。
• B = 100 または 500 の場合、τ = 0.5 および τ = 0.75 において被覆確率が良好に保たれるが、n₀ = 100 かつ B ≥ 100 の場合、被覆確率に若干の低下が見られ（例：β₁ において τ = 0.75 時に約83%）、サブサンプルサイズが小さい場合には注意が必要であることが示唆された。
• 反復的サブサンプリング手順は、最適確率の計算に伴うオーバーヘッドがあるものの、全データブロックではなく小さなサブサンプルに依存するため、分割統合法よりも著しく高速である。
• 実験的MSEは計算時間の増加に伴い減少し、提案手法は分割統合法とは異なるMSE対時間のトレードオフ領域を占めるため、計算リソースと精度の優先順位に応じて異なる性能プロファイルを示すことがわかった。