[論文レビュー] Communication-efficient Distributed Sparse Linear Discriminant Analysis

Lu Tian, Quanquan Gu|arXiv (Cornell University)|Oct 15, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用数 15

ひとこと要約

本稿では、m台のマシンに分散された高次元データを用いて、局所的なスパースLDA推定量を計算し、それをグローバル推定量に集約する通信効率の高い分散スパース線形判別分析（LDA）手法を提案する。m ≲ √(N / log d) / max(s, s′) の条件下で、中央集権的推定と同等の統計的レート O(√(s log d / N)) を ℓ2 ノルムで達成し、中央集権的手法よりも緩い条件下でモデル選択の一貫性を保証する。

ABSTRACT

We propose a communication-efficient distributed estimation method for sparse linear discriminant analysis (LDA) in the high dimensional regime. Our method distributes the data of size $N$ into $m$ machines, and estimates a local sparse LDA estimator on each machine using the data subset of size $N/m$. After the distributed estimation, our method aggregates the debiased local estimators from $m$ machines, and sparsifies the aggregated estimator. We show that the aggregated estimator attains the same statistical rate as the centralized estimation method, as long as the number of machines $m$ is chosen appropriately. Moreover, we prove that our method can attain the model selection consistency under a milder condition than the centralized method. Experiments on both synthetic and real datasets corroborate our theory.

研究の動機と目的

• 分散機械学習における高次元データの課題に対処し、効率的でスケーラブルなスパースLDA推定を可能にする。
• 中央集権的手法と同等の統計的性能を維持しながら、分散学習における通信コストを低減する。
• 中央集権的手法よりも緩い条件下で、スパースLDA推定量のモデル選択の一貫性を達成する。
• 高次元で分散された設定における推定誤差とサポート回復に関して、理論的保証を提供する。

提案手法

• m台のマシンに合計N個のサンプルを分散し、各マシンがN/m個のサンプルを処理して、ℓ1制約付き最適化により局所的なスパースLDA推定量を計算する。
• 各ワーカーマシンでデバイアス除去推定量を用いることで、バイアスを低減し、推定の正確性を向上させる。
• マスターノードで局所推定量を平均化し、その後にスパース化することで真のスパース構造を回復する。
• 1ラウンド通信プロトコルを採用：各ワーカーは生データではなくベクトルのみをマスターに送信し、通信オーバーヘッドを最小限に抑える。
• 理論的分析では、ℓ2ノルムおよび他のノルムにおける推定誤差を抑え込むために、サブガウス分布およびサブ指数分布の濃度不等式を用いる。
• 高次元漸近的条件下での一貫性を保証するため、標本共分散行列に対する制限固有値条件を活用する。

実験結果

リサーチクエスチョン

• RQ1 分散スパースLDA手法は、通信コストを最小限に抑えつつ、中央集権的推定と同等の統計的レートを達成できるか？
• RQ2 マシン数mが何の条件下で、ℓ2ノルムにおける最適レート O(√(s log d / N)) を維持するか？
• RQ3 提案手法は、中央集権的スパースLDAよりも緩い仮定のもとでモデル選択の一貫性を達成するか？
• RQ4 1ラウンド通信プロトコルは、複数ラウンドの代替手法と比較して、統計的性能の観点でどの程度通信効率が優れているか？
• RQ5 高次元スパースLDAにおける推定誤差とサポート回復に、データ分割の影響は何か？

主な発見

• 提案手法の分散推定量は、ℓ2推定誤差の上限が O(√(s log d / N) + max(s, s′)m√(s log d / N)) であることを示し、m ≲ √(N / log d) / max(s, s′) の条件下で中央集権的レートと一致する。
• 最小j |β∗j| ≳ √(log d / N) の条件下でモデル選択の一貫性を達成し、これは中央集権的手法が要請する条件よりも緩い。
• 1ラウンド通信プロトコルにより通信効率が確保され、各ワーカーマシンが1回のベクトル送信のみで済む。
• 理論的分析により、マシン数がサンプルサイズおよびスパarsityに対してあまりに大きくない限り、集約推定量が中央集権的推定量と同等の統計的レートを維持することが確認された。
• サブガウスおよびサブ指数分布の濃度不等式を用いて導かれた誤差バインディングにより、高次元漸近的条件下でも手法のロバスト性が保証される。
• 標本共分散行列に対する制限固有値条件のもとで理論的保証が確立されており、n ≳ s log d のとき高確率で成立する。