[論文レビュー] Threats, Attacks, and Defenses in Machine Unlearning: A Survey

Ziyao Liu, Huanyi Ye+3 more|arXiv (Cornell University)|Mar 20, 2024

Quality and Safety in Healthcare被引用数 4

ひとこと要約

本調査は、機械的アンラーニング（MU）における脅威、攻撃、防御の包括的な分類を提供し、情報漏洩や悪意あるアンラーニング要求などの脆弱性を分析している。MUがモデルの耐性強化のための防御手段としても、また未学習効果の評価ツールとしても果たす二重の役割を検討しつつ、フェデレーテッド、大規模、プライバシー保護型アンラーニングシステムにおける重要な研究ギャップを特定している。

ABSTRACT

Machine Unlearning (MU) has recently gained considerable attention due to its potential to achieve Safe AI by removing the influence of specific data from trained Machine Learning (ML) models. This process, known as knowledge removal, addresses AI governance concerns of training data such as quality, sensitivity, copyright restrictions, and obsolescence. This capability is also crucial for ensuring compliance with privacy regulations such as the Right To Be Forgotten (RTBF). Furthermore, effective knowledge removal mitigates the risk of harmful outcomes, safeguarding against biases, misinformation, and unauthorized data exploitation, thereby enhancing the safe and responsible use of AI systems. Efforts have been made to design efficient unlearning approaches, with MU services being examined for integration with existing machine learning as a service (MLaaS), allowing users to submit requests to remove specific data from the training corpus. However, recent research highlights vulnerabilities in machine unlearning systems, such as information leakage and malicious unlearning, that can lead to significant security and privacy concerns. Moreover, extensive research indicates that unlearning methods and prevalent attacks fulfill diverse roles within MU systems. This underscores the intricate relationship and complex interplay among these mechanisms in maintaining system functionality and safety. This survey aims to fill the gap between the extensive number of studies on threats, attacks, and defenses in machine unlearning and the absence of a comprehensive review that categorizes their taxonomy, methods, and solutions, thus offering valuable insights for future research directions and practical implementations.

研究の動機と目的

• 機械的アンラーニング（MU）システムにおける脅威、攻撃、防御の体系的レビューの必要性に対応すること。
• MUにおける多様な脅威モデル、攻撃ベクトル、防御メカニズムを特定・分類し、とりわけプライバシー、セキュリティ、コンプライアンスに影響を及ぼすものについて分析すること。
• アンラーニングがバックドア攻撃に対する防御手段としてだけでなく、アンラーニング効果の評価ツールとしても果たす二重の役割を検討すること。
• フェデレーテッドアンラーニング、大規模モデルアンラーニング、プライバシー保護型アンラーニングメカニズムにおける重要な研究ギャップを浮き彫りにすること。
• より安全で信頼性が高く、プライバシーに配慮したアンラーニングシステムを構築するにあたり、今後の研究のための主要な課題と方向性を提示すること。

提案手法

• データ漏洩、バックドアインジェクション、アンラーニング要求の改ざんを含む、脅威モデルに基づいた機械的アンラーニングにおける脅威と攻撃の構造的分類を提言する。
• アンラーニングメカニズムが、たとえばバックドア攻撃からのモデル回復に役立つ防御手段として再利用可能であるかを分析する。
• アンラーニング手法の耐性と有効性をテストするため、バックドア攻撃を評価指標として用いる方法を検討する。
• 既存のアンラーニング手法をレビューし、正確なアンラーニングと近似アンラーニングの違いを明確にし、それらの効率性とセキュリティのトレードオフを評価する。
• 機密データを保護するため、同型暗号化や微分プライバシーなどのプライバシー強化技術（PETs）をアンラーニングシステムに統合する方法を調査する。
• データの隔離と知識の拡散のため、フェデレーテッドアンラーニングにおける課題を特定する。また、大規模モデルアンラーニングでは、モデル挙動の非説明可能性と、標準的な検証手法（例：メンバーシップ推定攻撃（MIA））の有効性の欠如による検出困難さの問題を調査する。

実験結果

リサーチクエスチョン

• RQ1 機械的アンラーニングシステムを標的とする主な脅威モデルと攻撃ベクトルは何か。それらはモデルの整合性とデータプライバシーをどのように損なうのか。
• RQ2 アンラーニングは、データの削除以外に、バックドア攻撃などの悪意ある攻撃に対する防御手段としてもどのように活用できるか。
• RQ3 バックドア攻撃が、アンラーニングメカニズムの有効性を評価するベンチマークとして機能する方法は何か。
• RQ4 サービスプロバイダーが未学習データに直接アクセスできない状況で、プライバシー保護型アンラーニングを実現するにあたり、どのような主な課題が生じるか。
• RQ5 フェデレーテッドおよび大規模機械学習システムが有する固有の性質が、アンラーニングを複雑にする要因は何か。また、それらに対して必要な防御策は何か。

主な発見

• 機械的アンラーニングシステムは、特に未学習要求が正当なデータと区別できない場合、情報漏洩や悪意ある未学習要求に対して脆弱である。
• 汚染された学習データの影響を除去することで、アンラーニングはバックドア攻撃を効果的に緩和でき、防御手段としての有効性を示している。
• バックドア攻撃は、未学習処理が不完全または不完全な場合に検出できるため、未学習性能を測定するための有効な評価ツールであることが示された。
• フェデレーテッドアンラーニングは依然としてほとんど研究が進んでおらず、データの隔離とモデル更新の分散性のため、攻撃がより静かに実行されやすくなる。
• 大規模モデルアンラーニングは、モデル挙動の非説明可能性と、標準的な検証手法（例：メンバーシップ推定攻撃（MIA））が残留知識を検出できないことから、困難に直面している。
• 同型暗号化や微分プライバシーなどのPETを用いたプライバシー保護型アンラーニングは、依然として研究が不足しており、プライバシー、効率性、モデルパフォーマンスの間のトレードオフが明確でない。