[論文レビュー] Optimal Subsampling Algorithms for Big Data Generalized Linear Models

Mingyao Ai, Jun Yu+2 more|arXiv (Cornell University)|Jun 18, 2018

Statistical Methods and Inference参考文献 21被引用数 20

ひとこと要約

本稿は、一般化線形モデル（GLMs）と標準リンク関数を用いたA最適基準における最適部分標本化手法（OSMAC）を拡張する。A最適基準およびL最適基準の下での最適部分標本化確率を導出し、漸近正規性および一貫性を確立し、漸近最適性と有限標本効率性を達成する適応的二段階アルゴリズムを提案。シミュレーションおよび実データを用いた検証により有効性が確認された。

ABSTRACT

To fast approximate the maximum likelihood estimator with massive data, Wang et al. (JASA, 2017) proposed an Optimal Subsampling Method under the A-optimality Criterion (OSMAC) for in logistic regression. This paper extends the scope of the OSMAC framework to include generalized linear models with canonical link functions. The consistency and asymptotic normality of the estimator from a general subsampling algorithm are established, and optimal subsampling probabilities under the A- and L-optimality criteria are derived. Furthermore, using Frobenius norm matrix concentration inequality, finite sample properties of the subsample estimator based on optimal subsampling probabilities are derived. Since the optimal subsampling probabilities depend on the full data estimate, an adaptive two-step algorithm is developed. Asymptotic normality and optimality of the estimator from this adaptive algorithm are established. The proposed methods are illustrated and evaluated through numerical experiments on simulated and real datasets.

研究の動機と目的

• マス・データセット上での一般化線形モデル（GLMs）のフィッティングに伴う計算負荷を軽減するため、効率的な部分標本化手法の開発。
• 従来ロジスティック回帰に限定されていたOSMACフレームワークを、一般化線形モデル（GLMs）と標準リンク関数に拡張すること。
• 一般の部分標本化アルゴリズムの下で、推定子の一致性および漸近正規性といった理論的性質を確立すること。
• 一般化線形モデル（GLMs）におけるA最適基準およびL最適基準の下での最適部分標本化確率を導出すること。
• 漸近最適性および有限標本効率性を達成する適応的二段階アルゴリズムの開発および分析。

提案手法

• 漸近的分散・共分散近似を用いて、標準リンク関数を有するGLMsにおけるA最適基準およびL最適基準の下での最適部分標本化確率を導出する。
• フロベニウスノルム行列集中不等式を用いて、最適確率下での部分標本推定子の有限標本的性質を確立する。
• 適応的二段階アルゴリズムを提案：まずフルデータのパラメータを推定し、その後、これらの推定値に基づいて最適部分標本化確率を計算する。
• 提案された適応的スキームの下で、推定子が一貫性および漸近正規性を有することを保証する。
• 性能の実証的評価のため、シミュレーションおよび実データに部分標本化アルゴリズムを適用する。
• GLMsにおけるMLEの漸近的分布的性質を活用し、最適基準および推定子の挙動の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 OSMACフレームワークは、ロジスティック回帰を越えて一般化線形モデル（GLMs）に対しても一般化可能か？
• RQ2 標準リンク関数を有するGLMsにおけるA最適基準およびL最適基準の下での最適部分標本化確率は何か？
• RQ3 最適確率に基づく部分標本推定子は、GLM設定において一貫性および漸近正規性を達成するか？
• RQ4 フルデータ推定値が未知である場合に、漸近最適性を達成する適応的二段階アルゴリズムを設計可能か？
• RQ5 最適部分標本化下での部分標本推定子の有限標本的性質は、フルデータMLEと比較してどのように異なるか？

主な発見

• 標準リンク関数を有するGLMsにおけるA最適基準およびL最適基準の下での最適部分標本化確率が導出された。
• 最適確率に基づく部分標本推定子は、正則性条件の下で一貫性および漸近正規性を有する。
• フロベニウスノルム行列集中不等式を用いて、推定子の有限標本的性質が確立された。
• 適応的二段階アルゴリズムは、フルデータ推定値が確率の構築に用いられても、漸近正規性および最適性を達成する。
• シミュレーションおよび実データを用いた数値実験により、本手法の効率性および正確性がフルデータMLEと比較して明確に示された。
• 本手法は、大規模なGLM設定において、計算コストを顕著に低減しながらも、高い統計的効率性を維持している。