[論文レビュー] Distributed Sketching Methods for Privacy Preserving Regression

Burak Bartan, Mert Pilancı|arXiv (Cornell University)|Feb 16, 2020

Mobile Crowdsensing and Crowdsourcing参考文献 22被引用数 7

ひとこと要約

本稿では、大規模な回帰のための分散スケッチとパラメータ平均化を提案する。ランダム化スケッチ（ガウス分布、ハダール、サンプリング）を用いて次元削減を実現し、非同期システムにおける遅延処理耐性、プライバシー保護、計算効率を向上させる。理論的保証を提示し、ガウススケッチが、作業者数に応じて $1/\epsilon$ のスケーリングで期待誤差が小さくなるように、不偏推定を達成することを示している。これは、精度とプライバシー保護の両面で一様サンプリングを上回る。

ABSTRACT

In this work, we study distributed sketching methods for large scale regression problems. We leverage multiple randomized sketches for reducing the problem dimensions as well as preserving privacy and improving straggler resilience in asynchronous distributed systems. We derive novel approximation guarantees for classical sketching methods and analyze the accuracy of parameter averaging for distributed sketches. We consider random matrices including Gaussian, randomized Hadamard, uniform sampling and leverage score sampling in the distributed setting. Moreover, we propose a hybrid approach combining sampling and fast random projections for better computational efficiency. We illustrate the performance of distributed sketches in a serverless computing platform with large scale experiments.

研究の動機と目的

• 大規模データ向けにスケーラブルでプライバシー保護型の回帰フレームワークを、分散および非同期コンピューティング環境でも効率的に動作可能にする。
• 過決定（$n > d$）および未定義（$n < d$）の回帰設定において、スケッチされた部分問題のパラメータ平均化の近似精度と収束特性を分析する。
• スケッチ手法（ガウス分布、一様サンプリング、レバレッジスコアサンプリング、高速射影を含むハイブリッド手法）の間で、計算効率、プライバシー、精度のトレードオフを評価する。
• AWS Lambda などのサーバレスプラットフォームを用いて、実データおよび合成データ上で実用的性能とスケーラビリティを実証する。

提案手法

• データ行列 $A \in \mathbb{R}^{n \times d}$ およびベクトル $b \in \mathbb{R}^n$ を、複数のランダムスケッチ行列 ($S_k \in \mathbb{R}^{m \times n}$) を用いて低次元空間に射影し、分散計算を実行する。
• 作業者 $q$ 間でのパラメータ平均化を用いて、完全な最小二乗解を近似し、遅延する作業者を待たずに非同期更新を可能にする。
• ガウス分布、ランダム化ハダール、一様サンプリング、レバレッジスコアサンプリングを含むスケッチ行列を適用し、解の精度とデータプライバシーを維持する。
• まず行をサンプリングし、その後に高速なランダム射影（SJLT）を適用するハイブリッドスケッチ手法を提案し、計算効率を向上させつつ精度を維持する。
• AWS Lambda 上にフレームワークを実装し、リソース制限のあるサーバレスで高並列な環境での性能を評価する。
• 理論的分析により、期待コスト差 $\mathbb{E}[f(\bar{x})] - f(x^*)$ の境界を導出し、ガウススケッチの誤差をバイアスと分散の成分に分解する。

実験結果

リサーチクエスチョン

• RQ1 スケッチされた部分問題のパラメータ平均化は、分散回帰における近似誤差と収束にどのように影響するか？
• RQ2 分散環境下での異なるスケッチ手法（ガウス分布、一様サンプリング、レバレッジスコア、SJLT）に対して、精度とプライバシーに関する理論的保証は何か？
• RQ3 ハイブリッドスケッチ手法（サンプリング＋高速射影）は、純粋なサンプリングまたは純粋なスケッチと比較して、精度と実行時間の点でどのように異なるか？
• RQ4 分散スケッチは、AWS Lambda などのサーバレスプラットフォームで、遅延処理耐性を向上させ、効率的な計算を可能にする程度はどの程度か？
• RQ5 データ行列の条件数に依存せずに、平均化された解における期待誤差を境界づけられるか、これは非同期SGDと同様の性質か？

主な発見

• ガウススケッチでは、平均化された解の期待コスト $\mathbb{E}[f(\bar{x})]$ は不偏であり、作業者数 $q$ が増加するにつれて最適コスト $f(x^*)$ に収束する。
• ガウススケッチの期待誤差は、分散と二乗バイアスに分解され、誤差 $\epsilon$ を達成するための作業者数は $1/\epsilon$ のスケーリングに従う。
• EMNIST-bymergeデータセットでは、SJLTが一様サンプリングよりも低い近似誤差と高いテスト精度を達成した（AWS Lambda上での実行時間は66.9秒対41.5秒）。
• サイズ $10^7 \times 10^3$ および $2\times10^7 \times 2\times10^3$ の大規模な合成実験において、ハイブリッド手法は純粋なサンプリングよりも誤差を速く減少させたが、処理時間は長くなった。
• 未定義問題（$n < d$）においては、ガウススケッチが一様サンプリングを上回り、最小ノルム解の誤差を最小化した。ハイブリッド手法は、純粋なサンプリングと純粋なガウススケッチの間の性能を示した。
• 理論的結果により、平均化を伴う分散スケッチは、データ行列の条件数に依存しないため、非同期SGDよりも強い収束保証を持つことが示された。