[論文レビュー] Not Just Privacy: Improving Performance of Private Deep Learning in Mobile Cloud

Ji Wang, Jianguo Zhang+4 more|arXiv (Cornell University)|Sep 10, 2018

Privacy-Preserving Technologies in Data被引用数 28

ひとこと要約

本論文は、モバイルデバイスとクラウドの間でDNNを分割することで、プライバシーと推論性能の両方を向上させる、モバイル・クラウド型ディープラーニングフレームワークArdenを提案する。データをクラウドにオフロードする前に、軽量なデータのばらつき（ランダムノイズの追加と任意のノード無効化）を適用し、ノイズ付き学習を用いて耐性を高めることで、正確性を損なわずにリソース消費を最大60％削減する。

ABSTRACT

The increasing demand for on-device deep learning services calls for a highly efficient manner to deploy deep neural networks (DNNs) on mobile devices with limited capacity. The cloud-based solution is a promising approach to enabling deep learning applications on mobile devices where the large portions of a DNN are offloaded to the cloud. However, revealing data to the cloud leads to potential privacy risk. To benefit from the cloud data center without the privacy risk, we design, evaluate, and implement a cloud-based framework ARDEN which partitions the DNN across mobile devices and cloud data centers. A simple data transformation is performed on the mobile device, while the resource-hungry training and the complex inference rely on the cloud data center. To protect the sensitive information, a lightweight privacy-preserving mechanism consisting of arbitrary data nullification and random noise addition is introduced, which provides strong privacy guarantee. A rigorous privacy budget analysis is given. Nonetheless, the private perturbation to the original data inevitably has a negative impact on the performance of further inference on the cloud side. To mitigate this influence, we propose a noisy training method to enhance the cloud-side network robustness to perturbed data. Through the sophisticated design, ARDEN can not only preserve privacy but also improve the inference performance. To validate the proposed ARDEN, a series of experiments based on three image datasets and a real mobile application are conducted. The experimental results demonstrate the effectiveness of ARDEN. Finally, we implement ARDEN on a demo system to verify its practicality.

研究の動機と目的

• 制限された計算能力を持つモバイルデバイスに計算リソースを多く要するディープニューラルネットワーク（DNN）をデプロイする課題に対処すること。
• モバイル・クラウド型ディープラーニングシステムにおいて、データをクラウドデータセンターにオフロードすることに伴うプライバシーリスクを軽減すること。
• 個人情報のばらつきによって引き起こされるパフォーマンス劣化に対して、クラウド側の推論の耐性を高めること。
• 実用的で効率的かつプライバシーを守るフレームワークを設計し、モバイル・クラウド型DNNデプロイメントにおける利便性とセキュリティのバランスを図ること。

提案手法

• ArdenはDNNを分割し、浅い層をモバイルデバイスで実行し、複雑でリソースを多く要する層をクラウドで実行する。
• オフロード前に、入力データに対して軽量なローカル変換を適用し、任意のデータノード無効化とラプラスノイズの追加を実施する。
• フレームワークは微分プライバシーに基づく厳密なプライバシー予算分析を採用し、ばらつきを加えたデータがε-微分プライバシーを満たすことを証明している。ここでε = ln[(1−μ)e^{2σ/Λ} + μ] である。
• ノイズ付き学習を導入することで、ばらつきを加えられた入力に対しても耐性を持つクラウド側のネットワークを強化し、入力の不正化にもかかわらず推論の正確性を向上させる。
• ノイズのネットワーク出力への影響をモデル化するために、1次テイラー近似を活用し、理論的なプライバシー保証を可能にする。
• 実用性の検証とシステムレベルのオーバーヘッドの測定を目的として、デモシステムを実装し、リソース消費が60％以上削減されたことを示した。

実験結果

リサーチクエスチョン

• RQ1 モバイル・クラウド型ディープラーニングフレームワークは、ユーザーのプライバシーを守りながらも高い推論正確性を維持できるか？
• RQ2 ノイズの追加とノード無効化によるデータばらつきは、クラウド側DNN推論のパフォーモンスにどのような影響を与えるか？
• RQ3 ノイズ付き学習は、個人情報のばらつきによって引き起こされるパフォーマンス劣化を効果的に緩和できるか？
• RQ4 提案されたローカル変換メカニズムの理論的プライバシー予算は何か？
• RQ5 本フレームワークは、実世界のモバイル・クラウドデプロイメントにおいて、リソース消費をどの程度削減できるか？

主な発見

• デプロイされたデモシステムにおいて、Ardenはシステムリソース消費を60％以上削減し、顕著な効率向上を示した。
• 提案されたノイズ付き学習技術のおかげで、データのばらつきがあっても高い推論正確性を維持できた。
• 理論的分析により、Ardenがε = ln[(1−μ)e^{2σ/Λ} + μ] を満たすε-微分プライバシーを満たすことが確認され、強力なプライバシー保証が得られた。
• 3つの画像データセットと実際のモバイルアプリケーションを用いた実験により、Ardenがプライバシーとパフォーマンスのバランスを効果的に果たしていることが検証された。
• データノード無効化とノイズの追加の統合により、プライバシーが向上したが、利便性は損なわれず、ばらつきを加えた入力に対しても推論が安定した。
• プライバシー保護と推論効率の両面で、ベースライン手法を上回る性能を示し、実世界の環境でも実用的であることが実証された。