[論文レビュー] Verifiable and Provably Secure Machine Unlearning

Thorsten Eisenhofer, Doreen Riepel+4 more|arXiv (Cornell University)|Oct 17, 2022

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本論文は、ユーザーがモデルからそのデータが正しく削除されたことを暗号的に検証できる、検証可能な機械学習のアンナリングのための最初の形式的暗号フレームワークを導入する。SNARKとハッシュチェーンを用いて、正しくアンナリングが実行された証明を生成することで、再訓練、アンナリング、最適化ベースのアンナリング手法のすべてにおいて信頼なしの検証を可能にする。線形回帰、ロジスティック回帰、ニューラルネットワークへの成功した実装が得られた。

ABSTRACT

Machine unlearning aims to remove points from the training dataset of a machine learning model after training; for example when a user requests their data to be deleted. While many machine unlearning methods have been proposed, none of them enable users to audit the procedure. Furthermore, recent work shows a user is unable to verify if their data was unlearnt from an inspection of the model alone. Rather than reasoning about model parameters, we propose to view verifiable unlearning as a security problem. To this end, we present the first cryptographic definition of verifiable unlearning to formally capture the guarantees of a machine unlearning system. In this framework, the server first computes a proof that the model was trained on a dataset $D$. Given a user data point $d$ requested to be deleted, the server updates the model using an unlearning algorithm. It then provides a proof of the correct execution of unlearning and that $d otin D'$, where $D'$ is the new training dataset. Our framework is generally applicable to different unlearning techniques that we abstract as admissible functions. We instantiate the framework, based on cryptographic assumptions, using SNARKs and hash chains. Finally, we implement the protocol for three different unlearning techniques (retraining-based, amnesiac, and optimization-based) to validate its feasibility for linear regression, logistic regression, and neural networks.

研究の動機と目的

• 既存のアンナリング手法における重大なギャップ、すなわちユーザーが自分のデータが実際にトレーニング済みの機械学習モデルから削除されたかどうかを検証できないという点を解決すること。
• 検証可能なアンナリングをセキュリティ問題として形式化し、アンナリングが正しく実行されたことを保証する暗号的保証を提供すること。
• 再訓練ベース、アンナリング、最適化ベースの手法を含む、さまざまなアンナリング手法に適用可能な汎用フレームワークを設計すること。
• アンナリングの証明が短く、公開検証可能であり、全データセットやモデルパラメータを露呈しないようにすること。
• 線形回帰、ロジスティック回帰、ニューラルネットワークを含む実世界の機械学習モデルへの実装を通じて、実用性を実証すること。

提案手法

• 検証可能なアンナリングのための新しい暗号的セキュリティ定義を提案し、正しく実行された証明を伴うトレーニングと削除の操作のシーケンスとしてアンナリングをモデル化する。
• アンナリング手法を「許容可能な関数」として抽象化し、モデルの更新とデータセットの変更との関係を定義することで、さまざまな手法への一般化を可能にする。
• SNARK（短い非インタラクティブ知識証明）を用いて、アンナリング後の正しく更新されたモデルの証明をコンactかつ公開検証可能に生成する。
• ハッシュチェーンを用いて、データセット変更の暗号的に安全な逐次的履歴を維持し、データの除外を効率的に証明可能にする。
• サーバーが、更新されたモデルがユーザーのデータポイント d を含まないデータセット D' に基づいてトレーニングされたこと、かつアンナリングプロセスが正しく実行されたことを証明するプロトコルを設計する。
• ベンチマークデータセットとモデルを用いて、再訓練、アンナリング、最適化ベースの3つのアンナリング手法にわたるフレームワークの実装を行い、実用性を検証する。

実験結果

リサーチクエスチョン

• RQ1 検証可能な機械学習アンナリングに必要な保証を捉える形式的暗号的定義を確立できるか？
• RQ2 サーバーを信頼せず、ユーザーが自分のデータが機械学習モデルから正しく削除されたことを暗号的に検証できるか？
• RQ3 このフレームワークは、近似法や再訓練を含まない手法を含む、さまざまなアンナリング手法に一般化可能か？
• RQ4 機密データを漏洩させない効率的で短いアンナリング証明を可能にする暗号的プリミティブは何か？
• RQ5 提案されたフレームワークは、ニューラルネットワークやロジスティック回帰などの実世界の機械学習モデルにおいて実用的か？

主な発見

• 本論文は、抽出器ベースのセキュリティと知識証明に基づく強固なセキュリティモデルを確立する、検証可能なアンナリングの最初の形式的暗号的定義を提示する。
• 再訓練ベース、アンナリング、最適化ベースのアンナリング手法を「許容可能な関数」として抽象化することで、広範な適用可能性を確保する。
• SNARKとハッシュチェーンを用いて、全データセットやモデルパラメータを露呈せずに、正しく実行されたアンナリングの短い、公開検証可能な証明を成功裏に生成する。
• 実装は線形回帰、ロジスティック回帰、ニューラルネットワークにおいて実用的であることが示され、証明生成と検証が標準ベンチマークで実行可能である。
• モデルパラメータの比較に依存しない仕組みにより、特定の条件下でモデルパラメータが区別不能になる場合に不十分であるという問題を回避できる。
• 証明をデータセット変更の暗号的に安全な履歴に束縛することで、リプレイ攻撃を防止し、更新間でのデータの一貫性を保証する。