[論文レビュー] Private Coded Computation for Machine Learning

Minchul Kim, Heecheol Yang+1 more|arXiv (Cornell University)|Jul 3, 2018

Stochastic Gradient Optimization Techniques参考文献 7被引用数 5

ひとこと要約

本稿では、共有ライブラリからどのデータセットが使用されたかをワーカーが推測できないようにすることで、分散行列乗算におけるマスターデータのプライバシーを保護する、プライベートコーデッドコンピュテーションという新しいフレームワークを提案する。プライベート多項式コード（特にプライベートワンショットおよびプライベート非同期多項式コード）を提案し、通信負荷と計算時間の両方を最適化することで、すべてのテストシナリオにおいて従来のレジliリアントプライベート情報取得（RPIR）と比較して、少なくとも一方の指標で優れている。

ABSTRACT

In a distributed computing system for the master-worker framework, an erasure code can mitigate the effects of slow workers, also called stragglers. The distributed computing system combined with coding is referred to as coded computation. We introduce a variation of coded computation that protects the master's privacy from the workers, which is referred to as private coded computation. In private coded computation, the master needs to compute a function of its own dataset and one of the datasets in a library exclusively shared by the external workers. After the master recovers the result of the desired function through coded computation, the workers should not know which dataset in the library was desired by the master, which implies that the master's privacy is protected. We propose a private coded computation scheme for matrix multiplication, namely private polynomial codes, based on polynomial codes for conventional coded computation. As special cases of private polynomial codes, we propose private one-shot polynomial codes and private asynchronous polynomial codes. Whereas the private one-shot polynomial code achieves a lower communication load from the master to each worker, the private asynchronous polynomial code achieves faster computation than private one-shot polynomial codes. In terms of computation time and communication load, we compare private one-shot polynomial codes and private asynchronous polynomial codes with a conventional robust private information retrieval scheme which can be directly applied to coded computation.

研究の動機と目的

• 共有ライブラリからマスターがどのデータセットにアクセスしているかをワーカーが推測できるという分散コンピューティングにおけるプライバシー漏洩を解消すること。
• ライブラリ内の特定のデータセットが処理されていることをワーカーが学習できないようにする符号化コンピュテーション方式を開発すること。
• プライバシーを維持しながら通信負荷と計算時間を最小限に抑える効率的な方式を設計すること。
• 性能トレードオフの観点から、提案されたプライベートコーデッドコンピュテーション方式と従来のRPIRベースのアプローチを比較すること。

提案手法

• 従来の多項式コードのプライバシー保護拡張として、プライベート多項式コードを提案する。
• マスターデータとライブラリ内のターゲットデータセットを隠蔽するために、符号化関数 $ g^D_{\mathbf{A}} $ と $ g^D_{\mathbf{B}} $ を用いる。
• プライベートワンショット多項式コードを導入し、マスターが各ワーカーに $ L=1 $ 個の符号化データの評価値を送信することで、通信負荷を最小限に抑える。
• プライベート非同期多項式コードを設計し、速いワーカーが最初の完了後も処理を継続できるようにすることで、全体の計算時間を短縮する。
• ワーカーが並列に部分計算を処理し、マスターが復号可能な結果を返すグループベースの計算モデルを採用する。
• MDS符号化された部分行列と多項式補間を用い、任意の $ k $ 個のワーカーからの結果からも最終結果を復元可能にすることで、スローガー耐性を確保する。

実験結果

リサーチクエスチョン

• RQ1 複数のデータセットから成る共有ライブラリから特定のデータセットにアクセスする際、符号化コンピュテーションを拡張してマスターのプライバシーを保護できるか？
• RQ2 プライベートコーデッドコンピュテーションフレームワークにおいて、通信負荷と計算時間をどのように最小化できるか？
• RQ3 プライベートコーデッドコンピュテーション方式における通信効率と計算速度のトレードオフは何か？
• RQ4 プライベートワンショットおよびプライベート非同期多項式コードは、従来のRPIR方式と比較して性能面でどのように異なるか？

主な発見

• プライベートワンショット多項式コードはRPIRよりも低い通信負荷を達成し、通信負荷はRPIRの最大 $ N/n $ 倍までに抑えられる（$ N $ はワーカー数、$ n $ は復号に使用されるワーカー数）。
• プライベート非同期多項式コードは、速いワーカーが最初の完了後も処理を継続できるため、プライベートワンショット多項式コードよりも高速な計算を実現する。
• スローガー効果（$ \mu $）が小さい場合、プライベート非同期多項式コードとRPIRの性能差は縮小するが、高スローガー環境では依然としてプライベート非同期コードが優れている。
• プライベートワンショット多項式コードでは、通信負荷を最小限に抑えると、$ m $ が大きくなるため $ K = mn $ も増加し、結果として計算時間が増加するというトレードオフが生じる。
• 低 $ \mu $ のシナリオでは、プライベート非同期コードのRPIRに対する優位性は顕著でなくなるが、スローガーが顕著な場合には依然として計算時間でRPIRを上回る。
• $ L = m $ の場合、プライベート非同期多項式コードはRPIRと同等の通信負荷（$ N|\mathbf{A}| $）を達成できるが、実際には $ L $ を顕著に小さくできるため、RPIRに対する通信効率の差がさらに拡大する。