[論文レビュー] Method of Divide-and-Combine in Regularised Generalised Linear Models for Big Data

Lu Tang, Ling Zhou+1 more|arXiv (Cornell University)|Nov 18, 2016

Advanced Statistical Methods and Models参考文献 25被引用数 17

ひとこと要約

この論文は、大規模データにおける正則化一般化線形モデルに対して、バイアス補正推定量に基づく信頼分布を用いてlasso型回帰推定量を統合する、新しい分割統合手法を提案する。この手法は、フルデータの最尤推定量と同等の推定精度（Fisherの効率性）を達成しつつ、スケーラブルで安定した変数選択を可能にする。

ABSTRACT

When a data set is too big to be analysed entirely once by a single computer, the strategy of divide-and-combine has been the method of choice to overcome the computational hurdle due to its scalability. Although random data partition has been widely adopted, there is lack of clear theoretical justification and practical guidelines to combine results obtained from separate analysis of individual sub-datasets, especially when a regularisation method such as lasso is utilised for variable selection to improve numerical stability. In this paper we develop a new strategy to combine separate lasso-type estimates of regression parameters by the means of the confidence distributions based on bias-corrected estimators. We first establish the approach to the construction of the confidence distribution and then show that the resulting combined estimator enjoys the Fisher's efficiency in the sense of the estimation efficiency achieved by the maximum likelihood estimator from the analysis of full data. Furthermore, using the combined regularised estimator we propose an inference procedure. Extensive simulation studies are presented to evaluate the performance of the proposed methodology with comparisons to the classical meta estimation method and a voting-based variable selection method.

研究の動機と目的

• 大規模データにおいてlassoのような正則化を用いる際、部分データから得られた結果を統合する際の理論的裏付けと実用的ガイドラインの欠如に対処すること。
• フルデータを処理せずに、分割されたデータからの個別のlasso推定量を統合するスケーラブルで効率的な手法を開発すること。
• 統合推定量がフルデータ解析からの最尤推定量と同等の推定効率を達成することを保証すること。
• 正則化モデル枠組み内で統合された正則化推定量に基づく妥当な推論手順（仮説検定および信頼区間推定）を提案すること。

提案手法

• データ分割によって生じる推定バイアスを補正するため、個々の部分データセットから得られるバイアス補正推定量を用いて信頼分布を構築する。
• 推定効率を保つように、部分データセットからの信頼分布を重み付き平均化の手法で統合する。
• 統合された信頼分布を用いて、フルデータの最尤推定量と同等の効率性を有する最終的な正則化推定量を導出する。
• 統合推定量を用いて、正則化モデル枠組み内で仮説検定および信頼区間構築を含む推論を実施する。
• フルデータ計算を回避しつつ、数値的安定性とスケーラビリティを確保し、統計的効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 一般化線形モデルにおけるlasso型推定の分割統合戦略は、全データを処理せずに、Fisherの効率性を達成できるか？
• RQ2 部分データセットからの信頼分布をどのように構築・統合すれば、信頼性があり効率的な推定量が得られるか？
• RQ3 提案手法は、古典的なメタ推定量および投票ベースの変数選択と比較して、推定精度および変数選択の一貫性において優れているか？
• RQ4 データ分割および正則化の下で、統合推定量の効率性に理論的裏付けはあるか？

主な発見

• 提案された統合推定量はFisherの効率性を達成しており、これはフルデータから得られる最尤推定量と同等の推定精度を意味する。
• 本手法は、部分データセットからのlasso推定量を統合する理論的裏付けのあるアプローチを提供し、従来の分割統合戦略における正当性の欠如を克服する。
• シミュレーション研究により、本手法は古典的なメタ推定量および投票ベースの変数選択よりも、変数選択の正確性および推定精度において優れていることが示された。
• 統合推定量に基づく推論手順は、信頼区間の妥当な被覆確率および仮説検定における適切な第一種過誤率を達成する。