[論文レビュー] SWIFT: Super-fast and Robust Privacy-Preserving Machine Learning

Nishat Koti, Mahak Pancholi+2 more|arXiv (Cornell University)|May 20, 2020

Privacy-Preserving Technologies in Data参考文献 49被引用数 36

ひとこと要約

SWIFT は、Secure Outsourced Computation 設定において、頑健で悪意的に安全な3者および4者の PPML フレームワークを提供し、最先端の同業者と比較して競争力のある効率性を保ちながら、保証された出力配信を実現し、Logistic Regression や VGG16、LeNet のようなニューラルネットワークで検証します。

ABSTRACT

Performing machine learning (ML) computation on private data while maintaining data privacy, aka Privacy-preserving Machine Learning~(PPML), is an emergent field of research. Recently, PPML has seen a visible shift towards the adoption of the Secure Outsourced Computation~(SOC) paradigm due to the heavy computation that it entails. In the SOC paradigm, computation is outsourced to a set of powerful and specially equipped servers that provide service on a pay-per-use basis. In this work, we propose SWIFT, a robust PPML framework for a range of ML algorithms in SOC setting, that guarantees output delivery to the users irrespective of any adversarial behaviour. Robustness, a highly desirable feature, evokes user participation without the fear of denial of service. At the heart of our framework lies a highly-efficient, maliciously-secure, three-party computation (3PC) over rings that provides guaranteed output delivery (GOD) in the honest-majority setting. To the best of our knowledge, SWIFT is the first robust and efficient PPML framework in the 3PC setting. SWIFT is as fast as (and is strictly better in some cases than) the best-known 3PC framework BLAZE (Patra et al. NDSS'20), which only achieves fairness. We extend our 3PC framework for four parties (4PC). In this regime, SWIFT is as fast as the best known fair 4PC framework Trident (Chaudhari et al. NDSS'20) and twice faster than the best-known robust 4PC framework FLASH (Byali et al. PETS'20). We demonstrate our framework's practical relevance by benchmarking popular ML algorithms such as Logistic Regression and deep Neural Networks such as VGG16 and LeNet, both over a 64-bit ring in a WAN setting. For deep NN, our results testify to our claims that we provide improved security guarantee while incurring no additional overhead for 3PC and obtaining 2x improvement for 4PC.

研究の動機と目的

• サーバーが悪意的に振る舞う可能性があるSOC設定において、堅牢な（GOD）PPMLを動機づける。
• 宛パンであるGODを備えた誠実多数設定における環上の悪意的に安全な3PC/4PCフレームワークとしてSWIFTを提案する。
• GODを達成するPPMLプリミティブ（乗算、ドット積、切り捨て、ビット演算）の事前処理ベースの高速プロトコルを開発する。
• 3PCフレームワークを4PCへ拡張し、効率を維持しつつ堅牢性と性能を向上させる。
• 実用性と性能向上を示すために、PPML ワークロード（Logistic Regression、LeNet、VGG16）をベンチマークする。

提案手法

• Joint Message Passing（jmp）を導入し、2つのサーバーが第三者にメッセージを中継できる効率的なプリミティブを提供。ミス挙動が検出された場合にはTTPの置換を可能とし、レート-1 の通信を実現。
• Z_{2^l}（算術）および Z_{2^1}（ブール）上の秘密共有の意味論を提示し、局所計算を効率化する線形性特性を持つ。
• 秘密共有、ドット積、切り捨て、ビット抽出、ビットを算術へ、ビット注入、入力共有、出力再構成を含む、GODを備えた堅牢な3PCプロトコルスタックを提供。
• 3PCプリミティブを4PC設定へ拡張し、jmpベースのアプローチを用いてブロードキャストチャネルに依存せず、堅牢性を維持しつつ効率を向上させる。
• PPMLタスクのオンラインフェーズを高速化するため、入力非依存の作業をオフラインで行う前処理モデル最適化を説明する。
• WAN環境でMLタスク（Logistic Regression のトレーニング/推論、LeNet、VGG16）をベンチマークし、実用的な実現性と性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 正直多数の仮定下で、悪意ある対立者に対して3PC/4PC PPMLで堅牢な出力配信（GOD）をSWIFTは提供できるか？
• RQ2 GODを維持しつつ、通信量とラウンド複雑さの点で3PCおよび4PC SWIFTプロトコルは、既存の公平/堅牢なフレームワーク（例：BLAZE、Trident、FLASH）と比較してどうか？
• RQ3 WAN設定での標準MLワークロード（Logistic Regression、LeNet、VGG16）に対するSWIFTの実務的な性能影響は何か？
• RQ4 Joint Message Passing プリミティブは複数のプロトコル呼び出しにわたるアモルタイズド、レート-1 通信を可能にするか？
• RQ5 3PCを4PCに拡張することが、PPMLタスクのセキュリティ保証と効率性に与える影響は何か？

主な発見

• SWIFT は、いくつかのプリミティブで最良-knownの3PC/4PCフレームワークに匹敵するか、またはそれを上回り、セキュリティを公平からGODへとアップグレード（堅牢性）している。
• 3PC では、SWIFT は競争力のあるコストでGODを達成し、同様の設定で公平のみを提供するBLAZEの堅牢な代替案を提供する。
• 4PC では、SWIFT は Trident（最良の公平な4PC）と同等の速さで、FLASH（堅牢な4PC）より2倍速く、いくつかのプリミティブで、オンラインフェーズのオーバーヘッド増加なしに実用的な堅牢性向上を示す。
• SWIFT は、ベクトルサイズに依存しないアモルタイズドコストを持つドット積プロトコルを導入し、入力共有と出力再構成フェーズを迅速化し、ラウンド/通信の大幅な改善を提供する。
• Logistic Regression および LeNet や VGG16 のようなニューラルネットワークでの経験的ベンチマークは、WAN環境でのSWIFTの実用性を示し、セキュリティ保証の向上と好ましい性能を示す。