[논문 리뷰] Threats, Attacks, and Defenses in Machine Unlearning: A Survey

Ziyao Liu, Huanyi Ye외 3명|arXiv (Cornell University)|2024. 03. 20.

Quality and Safety in Healthcare인용 수 4

한 줄 요약

이 종합적 서베이는 기계적 무작위화(MU)에서의 위협, 공격 및 방어에 대한 체계적인 분류를 제공하며, 정보 泄露 및 악성 무작위화 요청과 같은 취약점을 분석한다. MU가 모델의 강건성 평가 도구이자 방어 수단으로서의 双중 역할을 하는 것을 고려하면서도, 연합 학습, 대규모 및 개인정보 보호 중심의 무작위화 시스템에서의 핵심 연구 격차를 규명한다.

ABSTRACT

Machine Unlearning (MU) has recently gained considerable attention due to its potential to achieve Safe AI by removing the influence of specific data from trained Machine Learning (ML) models. This process, known as knowledge removal, addresses AI governance concerns of training data such as quality, sensitivity, copyright restrictions, and obsolescence. This capability is also crucial for ensuring compliance with privacy regulations such as the Right To Be Forgotten (RTBF). Furthermore, effective knowledge removal mitigates the risk of harmful outcomes, safeguarding against biases, misinformation, and unauthorized data exploitation, thereby enhancing the safe and responsible use of AI systems. Efforts have been made to design efficient unlearning approaches, with MU services being examined for integration with existing machine learning as a service (MLaaS), allowing users to submit requests to remove specific data from the training corpus. However, recent research highlights vulnerabilities in machine unlearning systems, such as information leakage and malicious unlearning, that can lead to significant security and privacy concerns. Moreover, extensive research indicates that unlearning methods and prevalent attacks fulfill diverse roles within MU systems. This underscores the intricate relationship and complex interplay among these mechanisms in maintaining system functionality and safety. This survey aims to fill the gap between the extensive number of studies on threats, attacks, and defenses in machine unlearning and the absence of a comprehensive review that categorizes their taxonomy, methods, and solutions, thus offering valuable insights for future research directions and practical implementations.

연구 동기 및 목표

• 기계적 무작위화(MU) 시스템에서의 위협, 공격 및 방어에 대한 체계적 리뷰가 점점 더 필요한 이유를 해결하기 위해.
• MU에서의 다양한 위협 모델, 공격 벡터 및 방어 메커니즘을 식별하고 분류하여, 특히 개인정보 보호, 보안 및 준수에 영향을 미치는 요소들을 규명하기 위해.
• 무작위화가 백도어 공격에 대응하는 방어 수단으로서의 기능뿐 아니라, 무작위화 효과성을 평가하는 도구로서의 이중 역할을 탐색하기 위해.
• 연합 무작위화, 대규모 모델 무작위화, 개인정보 보호 중심의 무작위화 메커니즘에서의 핵심 연구 격차를 부각하기 위해.
• 더 안전하고 신뢰성 있으며 개인정보 준수 기반의 무작위화 시스템을 구축하기 위한 주요 과제와 향후 연구 방향을 제시함으로써 향후 연구를 이끌기 위해.

제안 방법

• 자신의 위협 모델에 기반해 데이터 泄露, 백도어 주입, 무작위화 요청 조작 등을 포함한 기계적 무작위화에서의 위협 및 공격에 대한 체계적 분류 체계를 제안한다.
• 무작위화 메커니즘이 백도어 공격으로부터 모델을 복구하는 등 방어 수단으로 재사용될 수 있는지 분석한다.
• 무작위화 방법의 강건성과 효과성을 테스트하기 위해 백도어 공격을 평가 지표로 사용하는 방법을 검토한다.
• 기존의 무작위화 방법론을 검토하며 정확한 무작위화와 근사 무작위화를 구분하고, 효율성과 보안 간의 트레이드오프를 평가한다.
• 무작위화 시스템에 개인정보 보호 기술(PETs)인 동형 암호화 및 차등적 개인정보 보호를 통합하는 방식을 조사하여 민감한 데이터를 보호한다.
• 데이터 격리와 지식 확산 문제로 인해 발생하는 연합 무작위화의 과제와, 설명 불가능성 및 검증 어려움으로 인해 대규모 모델 무작위화가 어려운 점을 규명한다.

실험 결과

연구 질문

• RQ1 기계적 무작위화 시스템을 대상으로 하는 주요 위협 모델과 공격 벡터는 무엇이며, 이는 모델의 무결성과 데이터 개인정보 보호를 어떻게 위협하는가?
• RQ2 무작위화가 데이터 삭제 외에도 백도어 공격과 같은 악성 공격에 대응하는 방어 수단으로서 어떻게 활용될 수 있는가?
• RQ3 백도어 공격이 무작위화 메커니즘의 효과성을 평가하기 위한 기준으로서 작용하는 방식은 무엇인가?
• RQ4 서비스 제공자가 직접적으로 무작은 데이터에 접근할 수 없는 상황에서 개인정보 보호 중심의 무작위화를 구현할 때의 핵심 과제는 무엇인가?
• RQ5 연합 및 대규모 기계학습 시스템의 고유한 특성이 무작위화를 복잡하게 만들며, 이를 해결하기 위해 필요한 방어 수단은 무엇인가?

주요 결과

• 기계적 무작위화 시스템은 특히 악성 무작위화 요청이 정상 데이터와 구분되지 않을 경우 정보 泄露 및 악성 무작위화 요청에 취약하다.
• 오염된 학습 데이터의 영향을 제거함으로써 무작위화가 백도어 공격을 효과적으로 완화할 수 있으며, 이는 방어 수단으로서의 유용성을 입증한다.
• 백도어 공격은 특히 불완전하거나 결함 있는 무작위화를 탐지하는 데 효과적인 평가 도구로 기능함이 입증되었다.
• 연합 무작위화는 아직 대부분 연구되지 않은 분야이며, 데이터 격리와 모델 업데이트의 분산성으로 인해 공격이 더욱 은밀해지는 문제가 존재한다.
• 대규모 모델 무작위화는 모델 행동의 설명 불가능성과 MIA(Membership Inference Attack)와 같은 표준 검증 방법이 잔류 지식을 탐지하는 데 효과적이지 못함으로써 어려움을 겪고 있다.
• 동형 암호화 및 차등적 개인정보 보호와 같은 PETs를 활용한 개인정보 보호 중심의 무작위화는 아직 연구가 부족하며, 개인정보 보호, 효율성, 모델 성능 간의 명확하지 않은 트레이드오프가 존재한다.