[논문 리뷰] Exploring the Landscape of Machine Unlearning: A Comprehensive Survey and Taxonomy

Thanveer Shaik, Xiaohui Tao외 4명|arXiv (Cornell University)|2023. 05. 10.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 논문은 기계적 기억 삭제(MU)에 대한 종합적인 서베이와 분류 체계를 제시하며, 기법을 데이터 삭제, 변형, 모델 업데이트 방법으로 분류한다. 성능 및 공정성 유지 조건 하에서 민감하거나 오래된 데이터를 삭제하는 데 필요한 기술을 평가하고, 확장성과 프라이버시와 같은 핵심 과제를 밝히며, 자연어 처리, 컴퓨터 비전, 추천 시스템 분야에서의 향후 방향성을 제시한다. 이는 AI 신뢰성 향상과 규제 준수에 기여한다.

ABSTRACT

Machine unlearning (MU) is gaining increasing attention due to the need to remove or modify predictions made by machine learning (ML) models. While training models have become more efficient and accurate, the importance of unlearning previously learned information has become increasingly significant in fields such as privacy, security, and fairness. This paper presents a comprehensive survey of MU, covering current state-of-the-art techniques and approaches, including data deletion, perturbation, and model updates. In addition, commonly used metrics and datasets are also presented. The paper also highlights the challenges that need to be addressed, including attack sophistication, standardization, transferability, interpretability, training data, and resource constraints. The contributions of this paper include discussions about the potential benefits of MU and its future directions. Additionally, the paper emphasizes the need for researchers and practitioners to continue exploring and refining unlearning techniques to ensure that ML models can adapt to changing circumstances while maintaining user trust. The importance of unlearning is further highlighted in making Artificial Intelligence (AI) more trustworthy and transparent, especially with the increasing importance of AI in various domains that involve large amounts of personal user data.

연구 동기 및 목표

• 성능과 공정성을 유지하면서 민감하거나 오래된 데이터를 삭제할 수 있는 모델의 필요성 증가에 대응하기 위해.
• 데이터 삭제, 변형, 모델 업데이트 전략을 포함한 기계적 기억 삭제 기법에 대한 통합된 분류 체계를 제공하기 위해.
• 기존 기억 삭제 평가 지표와 데이터셋을 평가하고 비교하여 기억 삭제 효과성 평가의 일관성과 신뢰성 확보하기 위해.
• 실제 구현 시 발생할 수 있는 공격의 복잡성, 표준화 부족, 자원 제약 등의 핵심 과제를 특정하기 위해.
• 자연어 처리, 컴퓨터 비전, 추천 시스템 등 다양한 분야에서 기계적 기억 삭제가 프라이버시 준수(GDPR 등)와 AI에 대한 신뢰를 강화하는 데 기여하는 방식을 탐색하기 위해.

제안 방법

• 기계적 기억 삭제 기법에 대한 체계적인 분류 체계를 제안하며, 기능 기반으로 데이터 삭제, 데이터 변형, 모델 업데이트로 분류한다.
• 정규화 기반, 디스틸리케이션 기반, 기울기 기반 접근법을 포함한 기존 기억 삭제 알고리즘을 검토하고 분류한다.
• 기억 상실률, 정확도 감소, 모델 신뢰도와 같은 평가 지표를 분석하여 기억 삭제 효과성을 정량화한다.
• 기본적인 기억 삭제의 강건성 평가를 위해 차별적 프라이버시와 모델 역전환 공격를 활용한다.
• 기억 삭제 기법의 이식 가능성, 해석 가능성, 자원 효율성을 평가하는 프레임워크를 제안한다.
• MU 연구에서 사용된 실제 데이터셋과 벤치마크를 검토하며, ImageNet, CIFAR, 평가용 합성 데이터셋을 포함한다.

실험 결과

연구 질문

• RQ1 학습된 기계학습 모델에서 데이터를 삭제하기 위한 가장 효과적인 기법은 무엇인가?
• RQ2 기억 삭제가 모델 성능에 미치는 영향은 어떻게 일관되게 측정하고 평가할 수 있는가?
• RQ3 기억 삭제의 핵심 과제로는 공격의 정교함, 표준화 부족, 자원 제약 등이 있다. 이는 무엇인가?
• RQ4 의료, 자연어 처리, 추천 시스템 등 프라이버시가 중요한 분야에서 기계적 기억 삭제는 어떻게 효과적으로 적용될 수 있는가?
• RQ5 기억 삭제 기법의 확장성, 해석 가능성, 강건성을 향상시키기 위한 향후 연구 방향은 무엇인가?

주요 결과

• 기억 삭제는 개인정보 보호 규정(GDPR 등) 준수를 위해 필수적이다. 이 규정은 저장소뿐 아니라 학습된 모델로부터도 데이터 삭제를 요구한다.
• 재학습 또는 피넷팅을 통한 데이터 삭제는 효과적이지만 계산 비용이 높아, 디스틸리케이션 또는 기울기 기반 기법과 같은 효율적인 대안이 필요하다.
• 지식 디스틸리케이션 및 데이터 제거 후 피넷팅과 같은 모델 업데이트 기법은 정확도를 유지하면서도 기억 삭제를 달성하는 데 유망한 성과를 보인다.
• 기억 상실률과 정확도 감소와 같은 평가 지표는 널리 사용되지만 표준화가 부족하여 연구 간 비교가 일관되지 못한 편이다.
• 기억 삭제 시스템에 대한 악성 공격는 취약점을 드러내며, 특히 기억 삭제가 철저히 구현되지 않은 경우 더욱 심각한 문제를 야기한다. 이는 더 강력한 보안 보장을 필요로 한다.
• 향후 자연어 처리, 컴퓨터 비전, 추천 시스템 분야의 응용에서는 점진적이고 해석 가능한 기억 삭제 기법이 공정성, 프라이버시, 모델의 적응 가능성 유지에 기여할 것이다.