[論文レビュー] Distributed Bootstrap for Simultaneous Inference Under High Dimensionality

Yang Yu, Shih-Kang Chao+1 more|arXiv (Cornell University)|Feb 19, 2021

Statistical Methods and Inference参考文献 35被引用数 7

ひとこと要約

本稿では、複数のマシンに分散配置されたデータに対して高次元推論を実行するための分散ブートストラップ手法を提案する。通信効率の良いデバイアス付きラッソを用いてℓ∞-ノルムの信頼領域を構築する。統計的精度を保証するための通信ラウンド数の対数的下界τ_minを確立し、τ_minはワーカー数および内在次元性に応じてゆっくりと増加するが、名目次元性にほとんど依存しない。

ABSTRACT

We propose a distributed bootstrap method for simultaneous inference on high-dimensional massive data that are stored and processed with many machines. The method produces an $\ell_\infty$-norm confidence region based on a communication-efficient de-biased lasso, and we propose an efficient cross-validation approach to tune the method at every iteration. We theoretically prove a lower bound on the number of communication rounds $τ_{\min}$ that warrants the statistical accuracy and efficiency. Furthermore, $τ_{\min}$ only increases logarithmically with the number of workers and the intrinsic dimensionality, while nearly invariant to the nominal dimensionality. We test our theory by extensive simulation studies, and a variable screening task on a semi-synthetic dataset based on the US Airline On-Time Performance dataset. The code to reproduce the numerical results is available at GitHub: https://github.com/skchao74/Distributed-bootstrap.

研究の動機と目的

• 複数のマシンに分散配置されたデータにおいて、高次元設定下で正確な同時推論を可能にすること。
• 分散統計的推論における通信オーバーヘッドを低減しつつ、統計的効率性を維持すること。
• 分散計算に適した通信効率の良いデバイアス付きラッソ推定量を開発すること。
• 統計的精度を達成するために必要な通信ラウンド数の理論的下界τ_minを導出すること。
• シミュレーションおよび米国航空の遅延性能データを用いた実世界の変数スクリーニングタスクを通じて、手法を検証すること。

提案手法

• 本手法は、通信効率の良いプロトコルを用いてワーカー間でデバイアス付きラッソ推定量を集約する分散ブートストラップフレームワークを採用する。
• 集約されたデバイアス付き推定量を用いて、高次元パラメーターベクトルのℓ∞-ノルム信頼領域を構築する。
• 各イテレーションでチューニングパラメータを調整するための新しい交差検証アプローチを導入し、有限標本性能を向上させる。
• スパarsityとデバイアス補正を活用して、高次元回帰における選択バイアスを是正する。
• 理論的分析により、通信ラウンド数の下界τ_minを導出し、ワーカー数および内在次元性に対して対数的依存性があることを示す。
• スケーラブルで頑健な設計であり、各ラウンドあたりの通信量を最小限に抑え、大規模データに適している。

実験結果

リサーチクエスチョン

• RQ1 分散高次元推論において統計的精度を達成するために必要な通信ラウンド数の最小値は何か？
• RQ2 分散マシン間でデバイアス付きラッソ推定量をどのように効率的に集約すれば、推論の妥当性を維持できるか？
• RQ3 必要な通信量がワーカー数および内在次元性にどのようにスケーリングするか？
• RQ4 高次元かつ分散データ環境下でも、この手法は高い統計的パワーと被覆確率を維持できるか？
• RQ5 提案された交差検証によるチューニング戦略は、固定値やヒューリスティックな選択に比べて性能をどのように向上させるか？

主な発見

• 通信ラウンド数の理論的下界τ_minは、ワーカー数および内在次元性に応じて対数的に増加し、統計的効率性を保証する。
• τ_minは名目次元性にほとんど依存せず、説明変数の数が非常に多くてもスケーラブルである。
• シミュレーションスタディにより、さまざまな高次元設定下でℓ∞-ノルム信頼領域の正確な被覆確率が達成されていることが確認された。
• 米国航空の遅延性能データセットを用いた変数スクリーニングタスクは、本手法の実用的有用性と半シンセティックデータにおけるスケーラビリティを示している。
• 提案された交差検証チューニングアプローチにより、有限標本性能が向上し、初期パラメータの選択への感受性が低下した。
• 理論的および実験的検証を通じて、統計的精度を損なわず通信効率性を達成していることが裏付けられた。