[論文レビュー] Privacy Partitioning: Protecting User Data During the Deep Learning Inference Phase

Jianfeng Chi, Emmanuel Owusu+5 more|arXiv (Cornell University)|Dec 7, 2018

Adversarial Robustness in Machine Learning参考文献 39被引用数 17

ひとこと要約

この論文では、推論中にユーザーの個人情報を保護するために、深層ニューラルネットワークをローカルおよびリモートの2つの部分に分割するPrivacy Partitioningというフレームワークを提案している。リモート層における漏洩を最小限に抑えるために、相互作用的な敵対的ネットワークを訓練することで、顔画像からの性別などの機微な属性の回復を防ぎつつ、分類精度を損なわずに強力なプライバシー保護を実現している。

ABSTRACT

We present a practical method for protecting data during the inference phase of deep learning based on bipartite topology threat modeling and an interactive adversarial deep network construction. We term this approach \emph{Privacy Partitioning}. In the proposed framework, we split the machine learning models and deploy a few layers into users' local devices, and the rest of the layers into a remote server. We propose an approach to protect user's data during the inference phase, while still achieve good classification accuracy. We conduct an experimental evaluation of this approach on benchmark datasets of three computer vision tasks. The experimental results indicate that this approach can be used to significantly attenuate the capacity for an adversary with access to the state-of-the-art deep network's intermediate states to learn privacy-sensitive inputs to the network. For example, we demonstrate that our approach can prevent attackers from inferring the private attributes such as gender from the Face image dataset without sacrificing the classification accuracy of the original machine learning task such as Face Identification.

研究の動機と目的

• 中間層の活性化値を通じて機微なユーザー情報が露呈される可能性がある、深層学習推論における増大するプライバシーリスクに対処すること。
• 悪意ある第三者がリモートサーバーの層にアクセスして、入力データからプライベートな属性（例：性別、感情）を推定する脅威を軽減すること。
• 既存の深層学習パイプラインと互換性があり、リソース制限のあるデバイスでも利用可能な、暗号化を用いない実用的なプライバシー保護手法を開発すること。
• モデル提供者がトレードシークレットを保護しつつ、ユーザーが推論中に個人情報を制御できるようにすること。
• 微分プライバシー や暗号技術といった既存のプライバシー保護技術を補完し、推論段階でのデータ漏洩に焦点を当てること。

提案手法

• 深層ニューラルネットワークを2つの部分に分割：ユーザー端末に配置されるローカル部分（Θₗ）と、信頼できないサーバーに配置されるリモート部分（Θᵣ）。
• 二部グラフトポロジーの脅威モデルを採用し、Θₗは信頼できるが、Θᵣは悪意ある可能性があると想定することで、実際のクライアント・サーバーおよびエッジ・クラウドの展開をモデル化する。
• ユーティリティを最適化するとともに、Θᵣへの情報漏洩を最小限に抑えるために、相互作用的な敵対的ディープネットワーク構築法を用いてモデルを訓練する。
• サイバネティクスおよびゲーム理論にインspiredされたフィードバックと改善メカニズムを用い、段階的にプライバシーとユーティリティのトレードオフを改善する。
• 主なタスク（例：顔認識）に必要な情報のみを共有し、プライベート属性の信号を抑制する。
• 微分プライバシー や暗号プロトコルを含む既存のプライバシー保護メカニズムと互換性を持たせ、モデルの再トレーニングを必要としない。

実験結果

リサーチクエスチョン

• RQ1 分割された深層学習モデルアーキテクチャは、推論中に中間層活性化値からプライベート属性を推定できる攻撃者の能力を低減できるか？
• RQ2 Privacy Partitioningは、リモート層へのアクセスを持つ攻撃者が、顔画像から性別や感情といった機微な属性を再構築できるのをどの程度効果的に防げるか？
• RQ3 プライバシー漏洩を最小限に抑える一方で、顔認識などの主なタスクの分類精度はどの程度維持されるか？
• RQ4 効率性と実用性の観点から、微分プライバシー や暗号技術といった既存のプライバシー保護技術と比較して、Privacy Partitioningはどの程度優れているか？
• RQ5 既存の深層学習セキュリティメカニズムと統合可能か？特に、アーキテクチャ的・計算的オーバーヘッドが顕著に増加しないか？

主な発見

• Privacy Partitioningフレームワークは、顔画像からの性別といった機微な属性を中間層活性化値を用いて回復しようとする攻撃者の能力を顕著に低減している。
• 分類精度を損なわず、顔認識などの主なタスクに高いユーティリティを維持する強力なプライバシー保護を実現している。
• ベンチマークコンピュータビジョンデータセットを用いた実験的評価では、状態の最良の入力回復攻撃に対しても、リモート部分（Θᵣ）が機微な属性に関する最小限の情報を漏洩していることが示された。
• 暗号化ベースのソリューションが高コストな計算負荷を伴うのに対し、IoT機器やスマートフォンのような低処理能力デバイスへの実装にも実用的である。
• 微分プライバシー や暗号プロトコルを含む他のプライバシー保護技術とも互換性があり、レイヤード防御戦略を可能にする。
• 相互作用的な敵対的訓練プロセスにより、プライベート属性の信号がリモート層で効果的に抑制されつつ、モデル出力にタスク関連の特徴が保持されている。