[論文レビュー] Scalable and Efficient Statistical Inference with Estimating Functions in the MapReduce Paradigm for Big Data

Ling Zhou, Peter X.‐K. Song|arXiv (Cornell University)|Sep 13, 2017

Statistical Methods and Inference参考文献 29被引用数 7

ひとこと要約

本稿は、マップレッドュースフレームワーク内でのラオ型信頼分布を用いたスケーラブルで効率的な統計的推論手法を提案する。推定関数と一般化モーメント法（GMM）理論を活用することで、大規模データセットにおける並列で分散型の推定が可能となり、縦断的・生存時間・分位数回帰を含む多様なモデルをサポートする。また、完全データ解析に劣らない漸近的効率性を保証する。

ABSTRACT

The theory of statistical inference along with the strategy of divide-and-conquer for large- scale data analysis has recently attracted considerable interest due to great popularity of the MapReduce programming paradigm in the Apache Hadoop software framework. The central analytic task in the development of statistical inference in the MapReduce paradigm pertains to the method of combining results yielded from separately mapped data batches. One seminal solution based on the confidence distribution has recently been established in the setting of maximum likelihood estimation in the literature. This paper concerns a more general inferential methodology based on estimating functions, termed as the Rao-type confidence distribution, of which the maximum likelihood is a special case. This generalization provides a unified framework of statistical inference that allows regression analyses of massive data sets of important types in a parallel and scalable fashion via a distributed file system, including longitudinal data analysis, survival data analysis, and quantile regression, which cannot be handled using the maximum likelihood method. This paper investigates four important properties of the proposed method: computational scalability, statistical optimality, methodological generality, and operational robustness. In particular, the proposed method is shown to be closely connected to Hansen's generalized method of moments (GMM) and Crowder's optimality. An interesting theoretical finding is that the asymptotic efficiency of the proposed Rao-type confidence distribution estimator is always greater or equal to the estimator obtained by processing the full data once. All these properties of the proposed method are illustrated via numerical examples in both simulation studies and real-world data analyses.

研究の動機と目的

• Hadoopのような分散コンピューティングフレームワークを用いて、大規模データセットにおける統計的推論を実現すること。
• マップレッドュースにおいて繰り返しデータの再ロードを要する従来の反復的手法の限界を克服し、集中型データ処理を回避する効率的でスケーラブルな推定を可能にすること。
• 最大尤度推定にとどまらない、推定関数への一般化を通じて、既存の信頼分布手法を一般化推定方程式、コックスモデル、分位数回帰などの複雑なモデルにまで拡張すること。
• 分散環境下での計算のスケーラビリティ、統計的最適性、メソドロジーの一般性、運用上の頑健性を確保すること。
• ランダムなデータ分割下でも、完全データ解析に匹敵するか、それ以上の漸近的効率性を維持する統一的フレームワークを提供すること。

提案手法

• 推定関数に基づくラオ型信頼分布（Rao-CD）推定器を定式化し、最大尤度推定をより広範なパラメトリックモデルに一般化する。
• 一般化モーメント法（GMM）フレームワークを用い、マップレッドュースのReduceフェーズで独立に処理されたデータバッチの結果を統合する。
• 重み付き推定方程式を用いる：$\hat{\bm{\theta}}_{rcd} = \arg\min_{\bm{\theta}} \left\{ \bm{\psi}^{T}_{n,\eta}(\mathbf{W};\bm{\theta}) \hat{\mathbb{V}}_{n,\eta}^{-1} \bm{\psi}_{n,\eta}(\mathbf{W};\bm{\theta}) \right\}$、ここで$\bm{\psi}$は統合された推定関数、$\hat{\mathbb{V}}$は推定された分散・共分散行列である。
• 部分データセット間で異なったパラメータ化を許容しつつも、共通の感興趣パラメータを維持できるように、マッピング関数$\eta_k$を導入する。
• 推定方程式におけるパラメータ変換を考慮するため、ヤコビ行列$\dot{\eta}_k(\bm{\theta})$を用い、モデルの非均質性下でも一貫した推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マップレッドュースパラダイム下で、スケーラブルかつ効率的であると同時に、統一的統計的推論フレームワークを大規模データに対して開発できるか。
• RQ2 データが分割され並列処理される状況下で、Rao-CD推定器の漸近的効率性は、完全データ解析の結果と比べてどの程度となるか。
• RQ3 本手法は、縦断的・生存時間・分位数回帰といった複雑なモデルを、分散計算環境下でどの程度サポートできるか。
• RQ4 データバッチ間のパラメータ非均質性は、推定の効率性と一貫性を損なわず、どのようにモデル化できるか。
• RQ5 データの汚染やモデルの不適合状況下で、Rao-CD推定器の頑健性特性はどのように現れるか。

主な発見

• 提案されたラオ型信頼分布推定器は、一度に全データを処理した場合の推定器よりも、常に漸近的効率性が同等以上であることが保証される。
• 本手法は、一般化推定方程式、コックス比例ハザードモデル、分位数回帰を含む広範な統計的モデルをサポートするが、これらは分散環境下で標準的尤度推定が困難である。
• 計算上のスケーラビリティが高く、繰り返しデータの再ロードを回避するため、Hadoopのようなハイパフォーマンス分散ファイルシステムに適している。
• ハンセンのGMMおよびクローダーの最適性基準との理論的つながりが確立され、本手法の統計的妥当性が裏付けられる。
• 数値的実験および実データ解析（例：FARSデータ）により、本手法の頑健性と実用的有効性が確認され、非均質なデータ条件下でも有効である。
• ランダムなデータ分割下でも本手法は頑健性を保ち、良好な有限標本性能を示すが、汚染下におけるブレークポイント挙動のさらなる検討が求められる。