[論文レビュー] A debiased distributed estimation for sparse partially linear models in diverging dimensions

Shaogao Lv, Heng Lian|arXiv (Cornell University)|Aug 18, 2017

Distributed Sensor Networks and Detection Algorithms被引用数 4

ひとこと要約

本稿では、発散する次元を伴うスパースな部分線形モデルに対する通信効率の高い分散学習アルゴリズムを提案する。この手法は、サブサンプル上でデバイアス付きの二重正則化最小二乗推定法を用いる。適切なデータ分割のもとで、高次元設定下でもスパarsityと非線形性が存在する中で、最適なパrametric推定速度を達成する。

ABSTRACT

Although various distributed machine learning schemes have been proposed recently for pure linear models and fully nonparametric models, little attention has been paid on distributed optimization for semi-paramemetric models with multiple-level structures (e.g. sparsity, linearity and nonlinearity). To address these issues, the current paper proposes a new communication-efficient distributed learning algorithm for partially sparse linear models with an increasing number of features. The proposed method is based on the classical divide and conquer strategy for handing big data and each sub-method defined on each subsample consists of a debiased estimation of the double-regularized least squares approach. With the proposed method, we theoretically prove that our global parametric estimator can achieve optimal parametric rate in our semi-parametric model given an appropriate partition on the total data. Specially, the choice of data partition relies on the underlying smoothness of the nonparametric component, but it is adaptive to the sparsity parameter. Even under the non-distributed setting, we develop a new and easily-read proof for optimal estimation of the parametric error in high dimensional partial linear model. Finally, several simulated experiments are implemented to indicate comparable empirical performance of our debiased technique under the distributed setting.

研究の動機と目的

• スパarsity、線形性、非線形性を併せ持つ半パラメトリックモデルに対する分散最適化手法の不足を解消すること。
• 特徴量の数が増加する高次元部分線形モデルに対する通信効率の高い分散学習アルゴリズムを開発すること。
• 適切なデータ分割のもとで、グローバルなパrametric推定量の理論的最適性を確立すること。
• 非分散設定下での高次元部分線形モデルにおける最適パrametric推定のための、新たな明快な証明を提供すること。
• シミュレーションを通じて、分散設定下でのデバイアス付き手法の性能を実証的に検証すること。

提案手法

• スケーラブルな計算を実現するため、複数のマシンにデータを分散させる分割統治戦略を採用する。
• 各サブサンプルにおける二重正則化最小二乗推定量に対して、バイアスを低減するためのデバイアス付き推定手順を適用する。
• サブサンプルレベルの推定量を重み付き平均化スキームで統合し、グローバル推定量を構築する。
• 非パラメトリック成分の滑らかさに適応するが、スパarsityに対してもロバストであるデータ分割を採用する。
• 理論的分析を通じて、正則性条件のもとでグローバル推定量が最適パrametricレートに達することを示す。
• 従来の手法よりも単純かつ明快な、高次元部分線形モデルにおける新たな証明技法を導入する。

実験結果

リサーチクエスチョン

• RQ1 発散する次元を伴う高次元部分線形モデルにおいて、分散アルゴリズムが最適パrametric推定を達成できるか？
• RQ2 データ分割の選択が、特に非パラメトリック成分の滑らかさに関連して推定精度に与える影響は何か？
• RQ3 スパースな部分線形モデルにおいて、分散設定下でデバイアス付きアプローチが推定効率を向上させられるか？
• RQ4 分散計算下でのグローバル推定量の収束速度に関する理論的保証は何か？
• RQ5 推定精度および通信効率の観点から、提案手法は既存手法と比較してどのように異なるか？

主な発見

• 提案された分散推定量は、適切なデータ分割のもとで、最適なパrametric収束速度に達する。
• データ分割戦略は非パラメトリック成分の滑らかさに依存するが、スパarsityレベルに対しても適応的である。
• 特徴量の数が標本サイズとともに発散する状況でも、最適な推定性能を維持する。
• 非分散設定下での高次元部分線形モデルにおける最適パrametric推定のための、新たな簡略化された証明が開発された。
• シミュレーション実験により、デバイアス付き分散手法が既存手法と同等の実証的性能を達成することが示された。