[論文レビュー] Communication-efficient sparse regression: a one-shot approach

Jason D. Lee, Yuekai Sun+2 more|arXiv (Cornell University)|Mar 14, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用数 46

ひとこと要約

本稿では、各マシンで得られたデバイアス付きlasso推定量を平均化することで、1回の通信で効率的な分散型スパース回帰を実現する手法を提案する。マシン数が標本サイズに対して非線形的である場合、中央集権的lassoと同等の収束速度を達成し、推定精度を回復する補正項により、標準的なlasso平均化のバイアスを克服する。

ABSTRACT

We devise a one-shot approach to distributed sparse regression in the high-dimensional setting. The key idea is to average "debiased" or "desparsified" lasso estimators. We show the approach converges at the same rate as the lasso as long as the dataset is not split across too many machines. We also extend the approach to generalized linear models.

研究の動機と目的

• マシン間のデータ転送を最小限に抑えることで、分散型の高次元統計的学習における通信ボトルネックを緩和すること。
• 単純なローカルlasso推定量の平均化では推定精度が向上しない分散環境におけるlasso推定量の固有のバイアスを克服すること。
• 1回の通信で効率的な分散フレームワーク内で、中央集権的lassoと同等の統計的効率性を維持する手法を開発すること。
• 提案手法を標準線形回帰を超える一般化線形モデルへ拡張すること。
• マシン数とデータ分割に関するやや弱い条件下で、中央集権的lassoの最適収束速度を達成する推定量を保証すること。

提案手法

• 各マシンでそのサブセットデータを用いてローカルなデバイアス付きlasso推定量を計算する1回の通信で効率的な分散アルゴリズムを提案する。
• 定義 $\hat{\beta}^{d} = \hat{\beta} + \frac{1}{n}\hat{\Theta}X^{T}(y - X\hat{\beta})$ に従い、lasso正則化によって生じるバイアスを補正するデバイアス付きlasso推定量を用いる。
• すべてのマシンからのデバイアス付き推定量を平均化してグローバル推定量 $\bar{\beta} = \frac{1}{m}\sum_{k=1}^{m}\hat{\beta}^{d}_{k}$ を形成し、通信量を1ラウンドに最小限に抑える。
• サンプル共分散行列 $\hat{\Sigma} = \frac{1}{n}X^{T}X$ の近似逆行列として一貫性のある推定量 $\hat{\Theta}$ を用い、ネイバー選択法や類似手法により導出する。
• スパarsityを強制し、有限標本性能を向上させるために、平均化された推定量にしきい値処理を適用する。
• サブガウス型設計およびノイズ仮定の下で、推定誤差の $(\infty, c's_0)$-ノルムに関する高確率的バインドを活用し、収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 1回の通信で効率的な分散アルゴリズムが、高次元スパース回帰において中央集権的lassoと同等の統計的収束速度を達成できるか。
• RQ2 デバイアス付きlasso推定量の平均化は、分散環境における標準lasso推定量の単純平均化が抱えるバイアスを解消できるか。
• RQ3 通信効率の良い1回の通信手法が、最適な $O(\sqrt{s_0 \log p / N})$ 収束速度を維持できるマシン数 $m$ の最大値は何か。
• RQ4 本手法は一般化線形モデルにおいてどのように性能を発揮するか。また、理論的保証は線形モデルを超えて拡張可能か。
• RQ5 ローカルlasso推定量の経験的スパarsityを用いて、しきい値処理のための真のスパarsityレベル $s_0$ を一貫して推定できるか。

主な発見

• 提案手法であるデバイアス付きlasso推定量の1回の平均化は、$m \lesssim N / (s_0 \log p)$ の条件下で、中央集権的lasso推定量と同等の $\ell_2$-ノルム収束速度 $O_P(\sqrt{s_0 \log p / N})$ を達成する。
• 誤差バインドにおける分散項は $O_P(\sqrt{\log p / N})$ に比例し、中央集権的lassoのレートと一致するが、バイアス項は $O_P(\sqrt{s_0 \log p / n})$ である。
• $m \lesssim N / (s_0 \log p)$ の場合、誤差バインドの支配的項は分散項となり、中央集権的lassoのレートと一致する。これにより統計的最適性が裏付けられる。
• 同じ条件下で、$\ell_2$ および $\ell_1$ ノルムにおける一貫性が維持され、$\|\bar{\beta}^{ht} - \beta^*\|_2 \lesssim_P \sqrt{s_0 \log p / N}$ および $\|\bar{\beta}^{ht} - \beta^*\|_1 \lesssim_P \sqrt{s_0^2 \log p / N}$ が成り立つ。
• ローカルlasso推定量の経験的スパarsity $\hat{s}_0$ は、やや弱い条件下で真のスパarsity $s_0$ の高確率的推定値を提供し、$\hat{s}_0 \leq C s_0$ が高確率で成立する。
• 本手法は一般化線形モデルへ拡張可能であり、1回の通信フレームワークの通信効率性と統計的性能を保持する。