[論文レビュー] Doubly Distributed Supervised Learning and Inference with High-Dimensional Correlated Outcomes

Emily C. Hector, Peter X.‐K. Song|arXiv (Cornell University)|Jul 16, 2020

Gaussian Processes and Bayesian Inference参考文献 40被引用数 9

ひとこと要約

本稿では、高次元で相関のある出力変数と大規模なサンプルサイズを、データブロックに分割することでスケーラブルで並列処理可能な、二重に分散化された教師あり学習フレームワークを提案する。一般化モーメント法（GMM）にインspiredされたメタ推定量を用いてブロック推定量を組み合わせることで、中央集権的なデータ保存を必要とせず、漸近的に有効な推論を達成する。これは、高次元出力変数の設定における計算上のボトル neck を克服する。

ABSTRACT

This paper presents a unified framework for supervised learning and inference procedures using the divide-and-conquer approach for high-dimensional correlated outcomes. We propose a general class of estimators that can be implemented in a fully distributed and parallelized computational scheme. Modelling, computational and theoretical challenges related to high-dimensional correlated outcomes are overcome by dividing data at both outcome and subject levels, estimating the parameter of interest from blocks of data using a broad class of supervised learning procedures, and combining block estimators in a closed-form meta-estimator asymptotically equivalent to estimates obtained by Hansen (1982)'s generalized method of moments (GMM) that does not require the entire data to be reloaded on a common server. We provide rigorous theoretical justifications for the use of distributed estimators with correlated outcomes by studying the asymptotic behaviour of the combined estimator with fixed and diverging number of data divisions. Simulations illustrate the finite sample performance of the proposed method, and we provide an R package for ease of implementation.

研究の動機と目的

• 標準的手法が不適切となる高次元で相関のある出力変数を伴う教師あり学習における計算的・統計的課題に対処すること。
• 計算負荷を低減するために、出力および被験者レベルの両方でデータを分割できる統一的かつ並列処理可能なフレームワークを構築すること。
• 固定および発散するデータ分割数の下での分散推定量の理論的裏付けを提供すること。
• ブロック間の依存構造を組み込むことで、従来の分割統合手法を相関のある出力変数に対応させる拡張を実現すること。
• 中央集権的なデータ収集を必要とせず、完全データGMMの効率性を模倣する閉形式のメタ推定量を用いて、効率的な推論を可能にすること。

提案手法

• 応答ベクトルYを低次元の部分ベクトルに分割し、被験者を無作為に独立したグループに分割することで、分散分析用のデータブロックを生成する。
• 各ブロックは、ペアワイズ複合尤度などの一般クラスの教師あり学習手順を用いて並列に分析され、局所パラメータが推定される。
• 推定量関数に基づく重み付けスキームを用いてブロック間の依存関係を考慮するGMMタイプのメタ推定量により、ブロック固有の推定量を統合する。
• メタ推定量は、完全データGMM推定量と漸近的に同等の閉形式解として導出され、すべてのデータを1台のサーバーに再ロードする必要がなくなる。
• 理論的裏付けは、推定量関数の漸近的理論に依拠しており、固定および発散するデータ分割数の両方の下で収束が確立される。
• スケーラブルで分散処理可能な計算を可能とし、実用的なBig Data環境での利用を想定してRパッケージとして実装されている。

実験結果

リサーチクエスチョン

• RQ1 中央集権的なデータ保存を必要とせず、高次元で相関のある出力変数に対して漸近的に有効な推論を達成できる分散フレームワークは存在するか？
• RQ2 有限標本における二重分散推定量の性能は、完全データGMMと比べてどの程度か？
• RQ3 ブロック間の依存性が、統合推定量の効率性および一貫性に与える影響は何か？
• RQ4 サンプルサイズNと出力次元Mの増加に伴って、この手法はどのようにスケーリングするか？
• RQ5 特定のモデルに限定されず、広範な教師あり学習手順のクラスに一般化可能か？

主な発見

• 提案された二重分散推定量は、完全データGMM推定量と漸近的に同等であり、データ中央集権化を必要とせず、統計的効率性を確保する。
• 正則性条件の下で、データ分割数が発散する場合でも一貫性と漸近正規性を維持する。
• シミュレーションにより、バイアスと分散の両面で、メタ推定量が完全データGMM推定量を良好に近似することが示された。
• 出力および被験者レベルの両方での並列処理を可能にすることで、大規模なNと高次元Mの環境において計算負荷を顕著に低減し、スケーラビリティを向上させる。
• 理論的結果により、統合推定量がブロック間の依存関係を適切に取り入れており、独立なメタ推定量手法を上回ることを確認した。
• 実装を容易にするためのRパッケージが提供されており、Hadoopのような分散コンピューティング環境への展開を支援する。