[論文レビュー] Circa: Stochastic ReLUs for Private Deep Learning

Zahra Ghodsi, Nandan Kumar Jha+2 more|arXiv (Cornell University)|Jun 15, 2021

Cryptography and Data Security参考文献 26被引用数 11

ひとこと要約

Circaは、符号検査に置き換えられ、入力を切り詰めることで、プライベートインファレンス（PI）の計算コストを削減する確率的ReLU近似を提案する。この手法は、ニューラルネットワークの故障耐性を活用し、ReLUを符号検査に再定式化することで、ベースラインPI比で最大4.7倍のストレージ削減と最大3倍の実行時間短縮を達成する。DeepReDuceなどの最先端のReLU最小化技術と組み合わせると、さらに1.8倍の高速化が可能となる。

ABSTRACT

The simultaneous rise of machine learning as a service and concerns over user privacy have increasingly motivated the need for private inference (PI). While recent work demonstrates PI is possible using cryptographic primitives, the computational overheads render it impractical. The community is largely unprepared to address these overheads, as the source of slowdown in PI stems from the ReLU operator whereas optimizations for plaintext inference focus on optimizing FLOPs. In this paper we re-think the ReLU computation and propose optimizations for PI tailored to properties of neural networks. Specifically, we reformulate ReLU as an approximate sign test and introduce a novel truncation method for the sign test that significantly reduces the cost per ReLU. These optimizations result in a specific type of stochastic ReLU. The key observation is that the stochastic fault behavior is well suited for the fault-tolerant properties of neural network inference. Thus, we provide significant savings without impacting accuracy. We collectively call the optimizations Circa and demonstrate improvements of up to 4.7x storage and 3x runtime over baseline implementations; we further show that Circa can be used on top of recent PI optimizations to obtain 1.8x additional speedup.

研究の動機と目的

• 暗号プロトコルにおける計算コストの高いReLU演算の高負荷を軽減すること。
• FLOPsの最適化に特化した既存のPIフレームワークが、ReLUのような非線形演算のコストには対応していないという制限を克服すること。
• ディープニューラルネットワークの内在的故障耐性を活用し、精度を損なわずにReLU計算における確率的近似を導入すること。
• Garbled Circuits（GC）によるReLU評価に依存するのを減らし、より効率的なシークレット共有（SS）に計算を移行するとともに、符号検査を近似することで、GCのコストを低減すること。
• Circaを既存のReLU削減技術（例：DeepReDuce）と組み合わせることで、さらなるパフォーマンス向上を示し、PIの実用的導入を前進させること。

提案手法

• ReLUを符号検査と乗算の組み合わせに再定式化し、乗算をシークレット共有（SS）に移動させ、ガーブルドサーキット（GC）には符号検査のみを残す。
• 符号検査を確率的評価する手法を導入し、入力の大きさがフィールド素数に対して相対的に大きいほど、故障確率が比例して上昇するように設計する。
• 符号検査に入力切り捨てを適用し、ビット幅を31ビットから12ビットに短縮し、小さな正または負の値に対して追加の故障を導入する。
• 2種類の設定可能な故障モード（NegPass：小さな負の値が誤って通過する、PosZero：小さな正の値が誤って0に設定される）を提供し、精度とパフォーマンスのトレードオフをユーザーが制御可能にする。
• ディープネットワークが最大10％の故障率ですら精度に影響を与えないという事実を活用し、積極的な最適化を可能にする。
• Delphiなどの既存のPIフレームワーク上でモジュラーに実装可能であり、ReLU最小化アーキテクチャと直交的な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 確率的および切り捨てられた論理を用いて符号検査部を近似することで、プライベートインファレンスにおけるReLU計算を著しく高速化できるか？
• RQ2 深層ニューラルネットワークは、ReLU演算における確率的故障をどの程度耐えられるか？その際、推論精度が劣化しないか？
• RQ3 入力切り捨てと確率的符号評価は、プライベートインファレンスにおける計算コストと精度のトレードオフにどのように影響を与えるか？
• RQ4 Circaは、既存のReLU削減技術（例：DeepReDuce）と組み合わせることで、乗法的なパフォーマンス向上を達成できるか？
• RQ5 標準的なReLU GCをCirca最適化版に置き換えた場合、実行時間とストレージコストで得られる最大のパフォーマンス向上はどの程度か？

主な発見

• Circaは、ガーブルドサーキット（GC）サイズを最大4.7倍削減し、ベースラインDelphi比で実行時間も最大3倍高速化する。
• 確率的符号近似により、精度への影響は無視できるほど小さく、ネットワークは10％を超える故障率ですら耐えられる。
• 符号検査のビット幅を31ビットから12ビットに切り詰めることで、GCサイズが4.7倍小さくなり、ベースラインReLU GC比で実行時間が3倍速くなる。
• DeepReDuce（最先端のReLU最小化フレームワーク）と組み合わせると、ベースライン比でさらに1.8倍の高速化が達成される。
• Circaにより、TinyImageNetの推論が2秒未塔で実現可能となり、リアルタイムなプライベートインファレンスの実現可能性を示している。
• 本手法は、既存のReLU削減技術と直交的であり、併用することで累積的なパフォーマンス向上が得られる。