[論文レビュー] Debiased distributed learning for sparse partial linear models in high dimensions

Shaogao Lv, Heng Lian|arXiv (Cornell University)|Aug 18, 2017

Sparse and Compressive Sensing Techniques参考文献 43被引用数 12

ひとこと要約

本稿では、分割統治フレームワークを用いて、高次元スパース部分線形モデルに対する通信効率的でバイアス補正済みの分散学習アルゴリズムを提案する。各サブサンプルにおいて二重正則化最小二乗法にバイアス補正推定を適用することで、高次元かつ非パラメトリックな設定下でもスパarsityと滑らかさの制約がある中で、グローバル推定量の最適パラメトリック収束速度を達成する。

ABSTRACT

Although various distributed machine learning schemes have been proposed recently for pure linear models and fully nonparametric models, little attention has been paid on distributed optimization for semi-paramemetric models with multiple-level structures (e.g. sparsity, linearity and nonlinearity). To address these issues, the current paper proposes a new communication-efficient distributed learning algorithm for partially sparse linear models with an increasing number of features. The proposed method is based on the classical divide and conquer strategy for handing big data and each sub-method defined on each subsample consists of a debiased estimation of the double-regularized least squares approach. With the proposed method, we theoretically prove that our global parametric estimator can achieve optimal parametric rate in our semi-parametric model given an appropriate partition on the total data. Specially, the choice of data partition relies on the underlying smoothness of the nonparametric component, but it is adaptive to the sparsity parameter. Even under the non-distributed setting, we develop a new and easily-read proof for optimal estimation of the parametric error in high dimensional partial linear model. Finally, several simulated experiments are implemented to indicate comparable empirical performance of our debiased technique under the distributed setting.

研究の動機と目的

• 高次元設定下でスパarsity、線形性、非線形性を併せ持つ半パラメトリックモデルに対する分散学習手法の不足を解消すること。
• 複数のマシンに分散されたデータにおいても統計的最適性を維持する通信効率的な分散アルゴリズムの開発。
• 高次元スパース部分線形モデルにおけるグローバル推定量の収束速度に対する理論的保証の確立。
• 非分散設定下における高次元部分線形モデルにおける最適パラメトリック推定のための、新たな簡素化された証明の提供。
• さまざまなデータ分割方式下でのシミュレーションを通じて、バイアス補正分散手法の実験的性能の検証。

提案手法

• 本手法は、全データセットをm個のサブサンプルに分割し、m台のマシンに分散する分割統治戦略を採用する。
• 各ローカルマシンは、パラメトリック成分にLasso正則化と非パラメトリック成分に再生核ヒルベルト空間（RKHS）ノルムを用いた二重正則化最小二乗目的関数に基づくバイアス補正推定量を計算する。
• グローバル推定量は、バイアス補正済みのローカル推定量の平均化によって構成され、正則化によって生じるバイアスを低減する。
• 理論的分析は、集中不等式とガウス過程のバウンドを用いて、経験過程の乖離を制御し、一様収束を保証する。
• 非パラメトリック成分の内在する滑らかさに適応しつつ、パラメトリック成分のスパarsityレベルに対して頑健である。
• 高次元設定下でn < p であるサブサンプルでも最適パラメトリック収束速度を確立するための洗練された証明技術が開発された。

実験結果

リサーチクエスチョン

• RQ1 高次元スパース部分線形モデルにおいて、分散学習アルゴリズムが最適パラメトリック収束速度に到達できるか。
• RQ2 非パラメトリック成分の滑らかさが異なる場合、データ分割の選択が推定精度に与える影響は何か。
• RQ3 高次元設定下のスパarsityを持つ状況で、バイアス補正が分散推定量の性能に与える影響は何か。
• RQ4 スパarsity、線形性、非線形性という複数の構造的要素を併せ持つ半パラメトリックモデルにおける分散推定のための統一的理論枠組みを確立できるか。
• RQ5 推定精度と通信効率の観点から、本手法は既存の分散または非分散推定量と比較してどのように異なるか。

主な発見

• 適切なデータ分割のもとで、グローバルパラメトリック推定量は、サブサンプル内での特徴数pが標本サイズnを上回る場合でも、最適パラメトリック収束速度に到達する。
• 線形成分のスパarsityパラメータに適応し、真のスパarsityレベルにかかわらず最適な性能を維持する。
• 理論的分析により、バイアス補正平均化手順が正則化によって生じるバイアスを効果的に除去し、漸近的に正規分布に従う推定を可能にすることが確認された。
• データ分割の選択は非パラメトリック成分の滑らかさに依存するが、本手法はスパarsityの変動に対して頑健である。
• シミュレーションにより、本手法が分散設定下でベースライン手法と同等またはより優れた実験的性能を達成することが示された。
• 高次元部分線形モデルにおける最適推定のための新たな簡素化された証明が提供され、既存の理論的結果の明確さとアクセスのしやすさが向上した。