[論文レビュー] UnSplit: Data-Oblivious Model Inversion, Model Stealing, and Label Inference Attacks Against Split Learning

Ege Erdoğan, Alpteki̇n Küpçü+1 more|arXiv (Cornell University)|Aug 20, 2021

Adversarial Robustness in Machine Learning参考文献 27被引用数 9

ひとこと要約

本稿では、分割学習に対する新たなデータに依存しない攻撃であるUnSplitを提案する。この攻撃により、誠実だが好奇心の強いサーバーは、クライントのモデルアーキテクチャのみを用いて、クライントの入力データを回復し、関数的に同等のモデルを盗作することが可能になる。攻撃は、通常の分割学習が意味のあるプライバシー保護を提供しないことを示しており、サーバーは最小限のアクセスで高精度な入力再構成と完全なラベル推定を達成でき、プロトコルのセキュリティ主張を根底から覆す。

ABSTRACT

Training deep neural networks often forces users to work in a distributed or outsourced setting, accompanied with privacy concerns. Split learning aims to address this concern by distributing the model among a client and a server. The scheme supposedly provides privacy, since the server cannot see the clients' models and inputs. We show that this is not true via two novel attacks. (1) We show that an honest-but-curious split learning server, equipped only with the knowledge of the client neural network architecture, can recover the input samples and obtain a functionally similar model to the client model, without being detected. (2) We show that if the client keeps hidden only the output layer of the model to "protect" the private labels, the honest-but-curious server can infer the labels with perfect accuracy. We test our attacks using various benchmark datasets and against proposed privacy-enhancing extensions to split learning. Our results show that plaintext split learning can pose serious risks, ranging from data (input) privacy to intellectual property (model parameters), and provide no more than a false sense of security.

研究の動機と目的

• 分散学習中のクライントのデータとモデル重みを保護することを目的としたプロトコルとしての分割学習における根本的なプライバシー脆弱性を暴露すること。
• クライントのモデルアーキテクチャのみを有するサーバーが、クライントの重みやデータにアクセスせずに、検出不能なモデルインバージョンおよびモデルスティーリング攻撃を実行できることを示すこと。
• 距離相関（DCOR）を含む既存の防御策が、これらの新規攻撃に対してどれほど有効であるかを評価すること。
• クライント側で出力層を計算することでラベル保護がなされても、依然としてラベルを完全な正確性で推定できることを示すこと。
• 分割学習のデフォルト設定を超えた、より強固な暗号的保護の緊急の必要性を強調すること。

提案手法

• モデルインバージョン攻撃は、勾配ベースの最適化を用いて、サーバーの再構成された特徴マップとクライントの破壊されたデータとの間の損失を最小化することで、クライントの入力データを再構成する。この際、クライントのモデルアーキテクチャのみを必要とする。
• モデルスティーリング攻撃は、サーバー側でサーバー側でサロゲートモデルを訓練し、同じ入力再構成プロセスを用いてクライントのモデルの挙動を模倣することで、関数的に同等のモデルを生成する。
• ラベル推定攻撃は、最終的なクライント層がローカルで計算されることに起因する。スプリット深度が1の場合、サーバーはクライントの出力層の勾配を用いて、完全な正確性でラベルを推定できる。
• 攻撃はクエリフリーかつデータに依存しない方法として実装されており、クライントのデータやラベルへの直接アクセスは不要。必要なのはアーキテクチャとクライントからの破壊されたデータのみ。
• 攻撃フレームワークは、MNISTやFashion-MNISTといった複数のデータセットに対して評価され、DCORのようなプライバシー強化防御対策と併用され、MSEと視覚的整合性を指標として用いる。
• 攻撃フレームワークは、変更なしにマルチクライアント環境へも拡張可能であり、同じ脅威モデル下でも効果を維持する。

実験結果

リサーチクエスチョン

• RQ1 クライントのモデルアーキテクチャのみを有するサーバーは、分割学習においてクライントの入力データを再構成できるか？
• RQ2 クライントの重みやデータにアクセスせずに、サーバーがクライントのモデル挙動をどれほど正確にクローンできるか？
• RQ3 出力層がローカルで計算される場合、サーバーはクライントの入力のラベルを推定できるか？
• RQ4 距離相関（DCOR）のような既存の防御策は、これらの新規でアーキテクチャに依存する攻撃に対してどれほど有効か？
• RQ5 スプリット深度を増加させることでセキュリティが向上するのか、それともプロトコル自体が根本的にこのような攻撃に対して脆弱であるのか？

主な発見

• スプリット深度が3の場合、分割学習のサーバーはクライントのモデルアーキテクチャと破壊されたデータのみを用いて、クライントの入力データを高い忠実度で再構成でき、Fashion-MNISTではMSEが0.18まで低下する。
• 回復された入力は視覚的に元の入力と区別がつかないため、プロトコルのプライバシー主張にもかかわらず、深刻な情報漏洩が発生していることが示唆される。
• サーバーは、元のモデルと同等の性能を持つクライントのモデルをクローン可能であり、同じ脅威モデル下で効果的なモデルスティーリングが可能であることを示している。
• クライントが最終層のみをローカルで計算する（スプリット深度=1）場合、サーバーは完全な正確性でラベルを推定でき、ラベル機密性が完全に破壊される。
• DCORのような防御策は入力再構成の質を低下させるが、アーキテクチャ知識を持つ攻撃者にとっては、モデルスティーリングや入力回復を防げず、顕著な妨害も及ばない。
• これらの攻撃はプライバシー強化防御に対しても効果を示しており、アーキテクチャ知識のみで強力かつ検出不能な攻撃が分割学習において可能であることを示している。