[論文レビュー] Deep Regression Unlearning

Ayush K Tarun, Vikram S Chundawat+2 more|arXiv (Cornell University)|Oct 15, 2022

Machine Learning and Data Classification被引用数 8

ひとこと要約

本論文は、最初の深層回帰アンラーニング手法として、BlindspotおよびGaussian Amnesiacを導入し、協調的重み最適化を通じて忘れデータの知識を選択的に削除しながら、保持データを維持する。Blindspot手法は、ランダムに初期化されたモデルと元のモデルのコピーを用い、3つの損失関数で忘れを最適化する。視覚、自然言語処理、予測の各タスクで最先端の性能を達成し、プライバシー攻撃に対して優れた耐性を示す。

ABSTRACT

With the introduction of data protection and privacy regulations, it has become crucial to remove the lineage of data on demand from a machine learning (ML) model. In the last few years, there have been notable developments in machine unlearning to remove the information of certain training data efficiently and effectively from ML models. In this work, we explore unlearning for the regression problem, particularly in deep learning models. Unlearning in classification and simple linear regression has been considerably investigated. However, unlearning in deep regression models largely remains an untouched problem till now. In this work, we introduce deep regression unlearning methods that generalize well and are robust to privacy attacks. We propose the Blindspot unlearning method which uses a novel weight optimization process. A randomly initialized model, partially exposed to the retain samples and a copy of the original model are used together to selectively imprint knowledge about the data that we wish to keep and scrub off the information of the data we wish to forget. We also propose a Gaussian fine tuning method for regression unlearning. The existing unlearning metrics for classification are not directly applicable to regression unlearning. Therefore, we adapt these metrics for the regression setting. We conduct regression unlearning experiments for computer vision, natural language processing and forecasting applications. Our methods show excellent performance for all these datasets across all the metrics. Source code: https://github.com/ayu987/deep-regression-unlearning

研究の動機と目的

• 深層回帰モデルにおける効果的なアンラーニング手法の欠如に応えること。これは、プライバシー規制の拡大が進む中で、依然としてほとんど研究が進んでいない分野である。
• 深層学習回帰設定において、効率的でスケーラブルかつプライバシー攻撃に対して耐性のあるアンラーニング技術を開発すること。
• 分類タスクから採用されたアンラーニング評価指標（AIN、$att\_prob$、$w\_dist$、およびフォーギット類似度）を回帰タスクに適応させ、アンラーニング品質の意味のある評価を可能にすること。
• 機密データを学習した回帰モデルにおける「忘れられる権利」の実用的実装を可能にすること。
• コンピュータビジョン、自然言語処理、時系列予測の多様な回帰応用にわたる一般化を実証すること。

提案手法

• ランダムに初期化されたモデルを部分的に保持データで訓練し、元のモデルのコピーを用いて重みを協調的に最適化するBlindspotアンラーニング手法を提案する。
• 保持データ用、忘れデータ用、および元のモデルからの知識蒸留用の3つの損失関数を用いた、新規の重み最適化プロセスを採用する。
• 回帰タスクにおける忘れを誘導するため、ガウスノイズを注入する戦略を用いた微調整手法として、Gaussian Amnesiac手法を導入する。
• 分類タスクに基づくアンラーニング指標（AIN、$att\_prob$、$w\_dist$、およびフォーギット類似度）を回帰評価に適応する。
• 部分的に訓練されたモデルが保持データを維持するのを学び、元の重みのコピーが忘れデータの影響を抑制する協調トレーニング設定を採用する。
• 画像回帰、文書類似度（STS-B）、電力需要予測の多様な回帰タスクに、これらの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 深層回帰モデルにおいて、効果的かつ効率的なアンラーニングが達成可能か。既存の手法はほとんど検討が進んでいない分野である。
• RQ2 再訓練から再び開始せずに、保持データのモデル性能を維持しつつ、深層回帰モデルでアンラーニングを実装する方法は何か。
• RQ3 忘れデータに関する情報を効果的に削除しながら、保持データの知識を維持するための、新たな最適化戦略は何か。
• RQ4 分類タスクから採用されたアンラーニング指標は回帰タスクにどのように一般化できるか。意味のある評価を行うために必要な適応は何か。
• RQ5 提案手法は、回帰設定におけるメンバーインファレンス攻撃やその他のプライバシー脅威に対して、どの程度耐性を示すか。

主な発見

• AgeDB 0-30バンドの忘れにおいて、Blindspotは1.00という最低のAINスコアを達成し、FineTune（0.33）およびGaussian Amnesiac（0.66）を大きく上回った。
• STS-Bデータセットでは、2015件のサンプルを忘れると、Blindspotは最低の忘れセット誤差（2.47）と$att\_prob$（0.34）を記録し、FineTune（2.35, 0.50）およびGaussian Amnesiac（2.30, 0.47）を上回った。
• 電力需要予測のタスクでは、値が0.85以上となるデータを忘れると、Blindspotは$att\_prob$が0.17と最低となり、FineTune（0.29）およびGaussian Amnesiac（0.36）を下回った。
• 0.85未満のバンドでは、Blindspotが$w\_dist$で0.13という最低値を記録し、FineTune（0.54）およびGaussian Amnesiac（2.25）を大きく下回った。これは、再訓練モデルとの重み分布の類似度が優れていることを示している。
• Blindspot手法は、$att\_prob$、$w\_dist$、およびAINスコアのすべての指標で最も一貫性のある性能を示し、プライバシー攻撃に対する強い耐性を示している。
• 提案手法は、4つの多様なデータセットにおいて、ベースラインのファインチューニングおよびGaussian Amnesiacを上回り、コンピュータビジョン、自然言語処理、時系列回帰の各分野にわたる一般化を実証した。