[論文レビュー] Distributed inference for quantile regression processes

Stanislav Volgushev, Shih-Kang Chao+1 more|arXiv (Cornell University)|Jan 21, 2017

Statistical Methods and Inference参考文献 17被引用数 14

ひとこと要約

本稿では、複数の計算ユニットに分散して条件付き分位数関数を並列に推定し、その後に射影に基づく手法を用いて完全な分位数回帰過程を構築する分散推定フレームワークを提案する。最適な計算ユニット数と分位数水準の選択のもとで、統計的精度が保持され、最小限の計算コストを実現するための鋭い上限・下限が導出される。

ABSTRACT

The increased availability of massive data sets provides a unique opportunity to discover subtle patterns in their distributions, but also imposes overwhelming computational challenges. To fully utilize the information contained in big data, we propose a two-step procedure: (i) estimate conditional quantile functions at different levels in a parallel computing environment; (ii) construct a conditional quantile regression process through projection based on these estimated quantile curves. Our general quantile regression framework covers both linear models with fixed or growing dimension and series approximation models. We prove that the proposed procedure does not sacrifice any statistical inferential accuracy provided that the number of distributed computing units and quantile levels are chosen properly. In particular, a sharp upper bound for the former and a sharp lower bound for the latter are derived to capture the minimal computational cost from a statistical perspective. As an important application, the statistical inference on conditional distribution functions is considered. Moreover, we propose computationally efficient approaches to conducting inference in the distributed estimation setting described above. Those approaches directly utilize the availability of estimators from sub-samples and can be carried out at almost no additional computational cost. Simulations confirm our statistical inferential theory.

研究の動機と目的

• 分位数回帰における大規模データセットの解析における計算的課題に対処する。
• 分散計算であっても統計的精度を維持できるスケーラブルなフレームワークを構築する。
• 最適なパフォーマンスを達成するために必要な計算ユニット数と分位数水準の理論的境界を確立する。
• 分散推定量を用いて条件付き分布関数に対する効率的な統計的推論を可能にする。
• 既存のサブサンプル推定量を活用することで、推論における追加計算コストをほぼゼロに抑える。

提案手法

• 複数の計算ユニットに分散して、複数の分位数水準における条件付き分位数関数を並列に推定する。
• 分散推定された分位数曲線を用いた射影に基づき、条件付き分位数回帰過程を構築する。
• フレームワークを固定／増大する次元の線形モデルおよびシリーズ近似モデルの両方に対応可能に定式化する。
• 統計的効率性を保証するための計算ユニット数に対する鋭い上界と、分位数水準数に対する鋭い下界を導出する。
• サブサンプルからの推定量を直接活用することで、ほぼゼロの追加計算コストで推論を実現する。
• 分散推定値を統合するための射影ベース手法を適用し、整合性のある分位数回帰過程を構築する。

実験結果

リサーチクエスチョン

• RQ1 分散分位数回帰において統計的精度を維持するために必要な最小の計算ユニット数は何か？
• RQ2 推論精度に損失がないことを保証するために必要な最小の分位数水準数は何か？
• RQ3 分散環境下で条件付き分布関数に対する推論を効率的に実施するにはどうすればよいか？
• RQ4 分散推定後に、追加計算コストを無視できる水準で統計的推論を実施できるか？
• RQ5 提案手法は、集中推定と同等の推論精度を保持するか？

主な発見

• 適切に計算ユニット数と分位数水準を選びさえすれば、提案手法の分散推定手順は集中推定と同等の統計的推論精度を維持する。
• 効率性の損失を避けるために必要な計算ユニット数に対する鋭い上界が導出された。
• 統計的コストが発生しないことを保証するための分位数水準数に対する鋭い下界が確立された。
• 追加計算コストをほぼゼロに抑えながら、分散推定量のみを用いて条件付き分布関数に対する効率的な推論が可能である。
• シミュレーションにより理論的結果が確認され、導出された境界のもとで、正確な推論が達成されることを示した。
• 本フレームワークは、固定または増大する次元の線形モデルおよびシリーズ近似モデルの両方へ適用可能である。