[論文レビュー] Corrective Machine Unlearning

Shashwat Goel, Ameya Prabhu+3 more|arXiv (Cornell University)|Feb 21, 2024

Educational Technology and Assessment被引用数 4

ひとこと要約

この論文は、すでに訓練された機械学習モデルにおいて、代表的な汚染サンプルのサブセットしか入手できない状況下で、操作されたデータの影響を軽減するための新しいフレームワーク、Corrective Machine Unlearning を導入する。従来のプライバシー重視のアンラーニング手法とは異なり、影響を受けるデータドメインにおけるモデルの精度回復に焦点を当てており、10%程度の特定済み汚染サンプルでさえも、バックドアトレーニングの影響を効果的に消去できる選択的シナプス減衰（SSD）の有効性を示している。一方、再訓練から始めることは、80%の特定済みデータでさえも失敗する。

ABSTRACT

Machine Learning models increasingly face data integrity challenges due to the use of large-scale training datasets drawn from the Internet. We study what model developers can do if they detect that some data was manipulated or incorrect. Such manipulated data can cause adverse effects including vulnerability to backdoored samples, systemic biases, and reduced accuracy on certain input domains. Realistically, all manipulated training samples cannot be identified, and only a small, representative subset of the affected data can be flagged. We formalize Corrective Machine Unlearning as the problem of mitigating the impact of data affected by unknown manipulations on a trained model, only having identified a subset of the corrupted data. We demonstrate that the problem of corrective unlearning has significantly different requirements from traditional privacy-oriented unlearning. We find most existing unlearning methods, including retraining-from-scratch without the deletion set, require most of the manipulated data to be identified for effective corrective unlearning. However, one approach, Selective Synaptic Dampening, achieves limited success, unlearning adverse effects with just a small portion of the manipulated samples in our setting, which shows encouraging signs for future progress. We hope our work spurs research towards developing better methods for corrective unlearning and offers practitioners a new strategy to handle data integrity challenges arising from web-scale training. Code is available at https://github.com/drimpossible/corrective-unlearning-bench.

研究の動機と目的

• バックドアや誤ラベル付けのような、微細で検出困難な操作によって汚染されたデータを学習した後、モデルの精度を回復する課題に対処すること。
• プライバシー志向のアンラーニングとは根本的に異なる、性能回復に焦点を当てた新しいアンラーニングパラダイム「Corrective Machine Unlearning」を形式化すること。
• この新しい設定において、既存のアンラーニング手法を評価し、再訓練から始めることなどの従来手法が、汚染データの一部しか入手できない場合に失敗することを明らかにすること。
• 選択的シナプス減衰（SSD）を用いた矯正アンラーニングの可能性を実証し、最小限の特定済みデータでバックドア効果を除去できる可能性を示すこと。
• 大規模なウェブ学習モデルにおけるデータ整合性問題に特化した、強力で適応的なアンラーニングアルゴリズムの今後の研究を促すこと。

提案手法

• 論文は、汚染されたサンプルの代表的サブセットしか入手できない状況を想定し、影響を受けるデータドメインにおけるクリーンラベル精度の向上を目的とする、Corrective Machine Unlearning を問題として形式化する。
• BadNetスタイルのバックドア汚染とインタークラス・コンフュージョン誤ラベル付けという2種類のデータ操作に対して、最先端のアンラーニング手法（再訓練から始めること、SSDなど）を評価する。
• 攻撃者はトレーニング済みモデルの開発者が後から検出できる少数の代表的サンプルしか特定できない状況を想定し、トリガーまたはラベルスワップによるデータ操作を想定する。
• 再訓練からの分布的同一性とは異なり、汚染ドメインにおける精度向上に焦点を当てた新しい評価指標を導入する。
• データ汚染の全容が不明な現実的な状況下で手法をベンチマークし、現実世界のデータ整合性の課題を模擬する。
• 今後の手法は、特に適応的攻撃下でも、厳密なプライバシー保証よりも汚染ドメインにおける精度回復を優先すべきであると提言する。

Figure 1 : Traditionally, retraining after removing identified data is considered a gold standard in unlearning. However, since developers may not identify all the wrong data for unlearning, retraining-from-scratch on remaining data leads to poor clean-label accuracy. Ideally, corrective unlearning

実験結果

リサーチクエスチョン

• RQ1 汚染されたサンプルの一部しか特定できない状況下で、既存のアンラーニング手法は、未知のデータ操作によって影響を受けるデータドメインにおけるモデル精度を効果的に回復できるか？
• RQ2 再訓練から始めることなどの従来のアンラーニング手法は、汚染データの80%が特定済みであっても、なぜ矯正アンラーニングにおいて失敗するのか？
• RQ3 選択的シナプス減衰（SSD）は、汚染サンプルの10%しか特定できない状況で、バックドア汚染の影響をどの程度まで除去できるか？
• RQ4 なぜSSDはインタークラス・コンフュージョン誤ラベル付けの影響を軽減できないのか？ これは、現在のアンラーニング手法の一般化性に何を示唆するか？
• RQ5 わずかな代表的汚染サンプルが、効果的な矯正アンラーニングに十分であるための理論的・アルゴリズム的条件は何か？

主な発見

• 再訓練から始めることでは、汚染データの80%が特定済みであっても、影響を受けるドメインにおけるクリーンラベル精度の回復に失敗しており、矯正アンラーニングにおいてはこのゴールドスタンダード手法が不十分であることが示された。
• 選択的シナプス減衰（SSD）は、汚染サンプルの10%しか特定できない状況でも、BadNetスタイルのバックドア汚染の影響を効果的に軽減でき、この設定における矯正アンラーニングの実行可能性を示した。
• SSDはインタークラス・コンフュージョン誤ラベル付けの影響を除去できないため、現在のアンラーニング手法は多様な操作タイプに耐性がないことが示された。
• この研究は、プライバシー志向のアンラーニングの目的とデータ整合性回復のニーズとの間に根本的な乖離があることを明らかにした。再訓練との同一性が、矯正性能には不十分であることが示された。
• 結果として、プライバシー保証ではなく、精度回復に焦点を当てた、データ整合性問題に特化した新しいアンラーニングアルゴリズムの開発が不可欠であることが強調された。
• 本論文は、汚染されたサンプルのわずかな代表的サブセットしか入手できない状況で、任意のデータ操作を信頼性高くアンラーニングできる手法が存在しないという、重要な研究ギャップを特定した。

Figure 2 : Clean-label Accuracy on Test Samples with Poison Trigger . Each method is shown across deletion sizes $|S_{f}|$ after unlearning (“None” represents the original model). Existing unlearning methods except SSD, including EU which is traditionally considered a gold-standard, perform poorly w