[論文レビュー] LEP-CNN: A Lightweight Edge Device Assisted Privacy-preserving CNN Inference Solution for IoT

Yifan Tian, Jiawei Yuan+2 more|arXiv (Cornell University)|Jan 14, 2019

Privacy-Preserving Technologies in Data参考文献 16被引用数 11

ひとこと要約

LEP-CNNは、CNN演算の99％以上をエッジデバイスにオフロードするオンライン/オフライン暗号化方式を用いて、リソース制約のあるIoTデバイス向けに軽量でプライバシー保護型のCNN推論ソリューションを提案する。CNN演算の線形性を活用して事前に復号鍵を計算することで、暗号化データ上でほぼ平文に近い効率を実現し、Raspberry Piレベルのハードウェアで35倍以上の高速化を達成するとともに、99％の整合性検出精度を実現した。

ABSTRACT

Supporting convolutional neural network (CNN) inference on resource-constrained IoT devices in a timely manner has been an outstanding challenge for emerging smart systems. To mitigate the burden on IoT devices, the prevailing solution is to offload the CNN inference task, which is usually composed of billions of operations, to public cloud. However, the "offloading-to-cloud" solution may cause privacy breach while moving sensitive data to cloud. For privacy protection, the research community has resorted to advanced cryptographic primitives and approximation techniques to support CNN inference on encrypted data. Consequently, these attempts cause impractical computational overhead on IoT devices and degrade the performance of CNNs. Moreover, relying on the remote cloud can cause additional network latency and even make the system dysfunction when network connection is off. We proposes an extremely lightweight edge device assisted private CNN inference solution for IoT devices, namely LEP-CNN. The main design of LEP-CNN is based on a novel online/offline encryption scheme. The decryption of LEP-CNN is pre-computed offline via utilizing the linear property of the most time-consuming operations of CNNs. As a result, LEP-CNN allows IoT devices to securely offload over 99% CNN operations, and edge devices to execute CNN inference on encrypted data as efficient as on plaintext. LEP-CNN also provides an integrity check option to help IoT devices detect error results with a successful rate over 99%. Experiments on AlexNet show that LEP-CNN can speed up the CNN inference for more than 35 times for resource constrained IoT devices. A homomorphic encryption based AlexNet using CryptoNets is implemented to compare with LEP-CNN to demonstrate that LEP-CNN has a better performance than homomorphic encryption based privacy preserving neural networks under time-sensitive scenarios.

研究の動機と目的

• リソース制約のあるIoTデバイスに計算負荷の高いCNN推論を実装する課題に対処すること。
• パブリッククラウドに送信する機微なデータに関連するプライバシーリスクを克服すること。
• 既存のプライバシー保護型CNNソリューションで生じる同型暗号化による計算オーバーヘッドと遅延を低減すること。
• 軽量な整合性チェックメカニズムを用いて、悪意あるエッジデバイスからの不正な結果に対して整合性を保証すること。
• 精度の損失なしに、時間に敏感なIoTアプリケーションにおけるリアルタイムで即時の推論を可能にすること。

提案手法

• 入力とランダムノイズから分離された線形CNN演算を処理する、新規のオンライン/オフライン暗号化方式を設計すること。
• 畳み込み層の線形性を活用して、事前にオフラインで復号鍵を計算することで、実行時の復号コストを排除すること。
• CNN演算の99％以上をエッジデバイスにオフロードし、暗号化データ上で効率的な推論を実現すること。
• IoTデバイスが不正な結果を99％以上の成功率で検出可能な、軽量な整合性チェックメカニズムを統合すること。
• 非線形活性化関数を同型暗号化と互換性のある線形形式に変換する近似技術を用いること。
• 低遅延実行を最適化したYASHEベースの暗号システムを用いて、この方式を実装すること。

実験結果

リサーチクエスチョン

• RQ1 軽量でエッジ支援型の暗号化方式は、リソース制約のあるIoTデバイス上で、効率的なプライバシー保護型CNN推論を可能にするか？
• RQ2 セキュリティを損なわずに、暗号化CNN推論における復号オーバーヘッドをどのように最小化できるか？
• RQ3 エッジデバイスへの演算オフロードは、時間に敏感なIoTアプリケーションにおける遅延とエネルギー消費をどの程度低減できるか？
• RQ4 プライバシー保護型エッジコンピューティングモデルにおいて、整合性を効率的に検証できるか？
• RQ5 LEP-CNNの性能は、実世界のシナリオにおいて、CryptoNetsのような同型暗号化ベースのソリューションと比較してどのように異なるか？

主な発見

• LEP-CNNは、Raspberry Piと同等の性能を持つIoTデバイス上でのCNN推論において、35倍以上の高速化を達成した。
• AlexNetの入力に対して、LEP-CNNのローカル暗号化および復号処理はわずか0.3秒で完了したが、同型暗号化ベースのアプローチでは10時間以上を要した。
• LEP-CNNの最初の畳み込み層は0.0103秒で処理されたが、同じ処理をCryptoNetsで行うと625.856秒もかかった。
• LEP-CNNは、同型暗号化ベースのソリューション（例：CryptoNets）と比較して、エンドツーエンドの推論時間を99％以上短縮した。
• 整合性チェックメカニズムは、不正なエッジデバイスからの不正な結果を99％以上の成功率で検出できた。
• 他の同型暗号化ベースの手法とは異なり、LEP-CNNは近似に起因する精度損失を一切生じさせず、完全な推論精度を維持した。