[論文レビュー] Morphed Learning: Towards Privacy-Preserving for Deep Learning Based Applications

Juncheng Shen, Juzheng Liu+2 more|arXiv (Cornell University)|Sep 20, 2018

Privacy-Preserving Technologies in Data被引用数 1

ひとこと要約

Morphed Learning (MoLe) は、データ変形と拡張畳み込み（Aug-Conv）層を用いて、プライバシー保護型ディープラーニングフレームワークを実現する。CIFAR-10 における VGG-16 では、計算オーバーヘッドが 9%、データ送信オーバーヘッドが 5.12% に抑えられ、GAZELLE よりも著しく効率的かつ安全で、攻撃者による復元成功確率は 7.9×10⁻⁹⁰ にまで低下する。

ABSTRACT

Privacy recently emerges as a severe concern in deep learning, that is, sensitive data must be prohibited from being shared with the third party during deep neural network development. In this paper, we propose Morphed Learning (MoLe), an efficient and secure scheme to deliver deep learning data. MoLe has two main components: data morphing and Augmented Convolutional (Aug-Conv) layer. Data morphing allows data providers to send morphed data without privacy information, while Aug-Conv layer helps deep learning developers to apply their networks on the morphed data without performance penalty. MoLe provides stronger security while introducing lower overhead compared to GAZELLE (USENIX Security 2018), which is another method with no performance penalty on the neural network. When using MoLe for VGG-16 network on CIFAR dataset, the computational overhead is only 9% and the data transmission overhead is 5.12%. As a comparison, GAZELLE has computational overhead of 10,000 times and data transmission overhead of 421,000 times. In this setting, the attack success rate of adversary is 7.9 x 10^{-90} for MoLe and 2.9 x 10^{-30} for GAZELLE, respectively.

研究の動機と目的

• 第三者的な機関に機微なデータを共有しないという、ディープラーニングにおけるデータプライバシーの懸念を解決すること。
• 高い計算コストや通信コストを伴う既存のセキュアなディープラーニングフレームワークの限界を克服すること。
• データ共有時にプライバシー漏洩を完全に排除しながら、モデルの性能を維持する仕組みを開発すること。
• 特に攻撃者による復元攻撃に対して、G AZELLE よりも強固なセキュリティ保証を達成すること。
• パフォーマンスのペナルティを最小限に抑えることで、プライバシー保護型ディープラーニングの実用的導入を可能にすること。

提案手法

• 送信前に元のデータをプライバシー保護型の形に変形するデータモーフィングを適用し、識別可能な特徴や機微な情報を除去する。
• モデル性能の低下を防ぐために、モーフィングされたデータを処理できる拡張畳み込み（Aug-Conv）層を導入する。
• 前向き伝搬および逆伝搬の過程で、モーフィング効果を暗黙的に逆転させることで、モデルの正確性を保持するように Aug-Conv 層を設計する。
• モーフィング処理が、認可された参加者以外には復元不可能であることを保証する。
• 暗号的手法と変換技術を用いて、不正なエンティティに対してモーフィング済みデータがランダムノイズと区別不能になるようにする。
• 攻撃者によるデータ復元成功確率を定量化できる脅威モデルを形式化し、きめ細やかなセキュリティ評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 既存のソリューションと比較して、計算および通信のオーバーヘッドを最小限に抑えた状態で、セキュアなデータ共有を実現できるか？
• RQ2 提案されたモーフィングおよび Aug-Conv メカニズムは、プライバシー漏洩を排除しながら、モデルの正確性をどれほど効果的に維持できるか？
• RQ3 攻撃者がモーフィングされた入力から元のデータを復元する成功率はどの程度で、先行研究と比較してどうなるか？
• RQ4 VGG-16 と CIFAR-10 といった標準ベンチマークでも、プライバシー保護の制約下で高いパフォーマンスを維持できるか？
• RQ5 復元確率とオーバーヘッドの観点から、GAZELLE と比較して MoLe のセキュリティ強度は定量的にどの程度優れているか？

主な発見

• MoLe では、CIFAR-10 に VGG-16 をデプロイした際の計算オーバーヘッドがわずか 9% に抑えられ、GAZELLE の 10,000× に比べて著しく低減している。
• データ送信オーバーヘッドは MoLe で 5.12% にまで低下し、GAZELLE の 421,000× の増加と比べて劇的改善が見られる。
• 攻撃者が元のデータを復元する成功率は MoLe で 7.9×10⁻⁹⁰ にまで低下しており、GAZELLE の 2.9×10⁻³⁰ よりも著しく低い。
• Aug-Conv 層により、モーフィングされたデータに対する正確な推論が可能となり、パフォーマンスの低下が生じない。
• MoLe は、計算および通信の両面で GAZELLE よりもはるかに効率的でありながら、より強固なプライバシー保証を達成している。
• モーフィング機構は、データの有用性を維持したまま、機微な情報を効果的に削除している。