[논문 리뷰] Machine Unlearning: Solutions and Challenges

Jie Xu, Zihan Wu외 2명|arXiv (Cornell University)|2023. 08. 14.

Privacy-Preserving Technologies in DataComputer Science참고 문헌 105인용 수 3

한 줄 요약

이 논문은 기계적 미학습에 대한 종합적인 분류 체계와 분석을 제시하며, 알고리즘적 재학습을 통한 데이터 영향 완전 제거를 통해 영향을 완전히 제거하는 정확한 미학습과, 파라미터 업데이트를 통한 영향 최소화를 통해 효율적으로 구현하는 근사적 미학습을 구분한다. 주요 과제를 규명하고 복잡한 모델에서 신뢰할 수 있고 적응 가능한 기계학습을 가능하게 하기 위한 향후 연구 방향을 제안한다.

ABSTRACT

Machine learning models may inadvertently memorize sensitive, unauthorized, or malicious data, posing risks of privacy breaches, security vulnerabilities, and performance degradation. To address these issues, machine unlearning has emerged as a critical technique to selectively remove specific training data points' influence on trained models. This paper provides a comprehensive taxonomy and analysis of the solutions in machine unlearning. We categorize existing solutions into exact unlearning approaches that remove data influence thoroughly and approximate unlearning approaches that efficiently minimize data influence. By comprehensively reviewing solutions, we identify and discuss their strengths and limitations. Furthermore, we propose future directions to advance machine unlearning and establish it as an essential capability for trustworthy and adaptive machine learning models. This paper provides researchers with a roadmap of open problems, encouraging impactful contributions to address real-world needs for selective data removal.

연구 동기 및 목표

• 기계학습 모델에서 민감한, 악성의, 또는 오래된 학습 데이터를 선택적으로 제거할 수 있는 필요성을 충족시켜 개인정보 보호와 보안을 확보하기 위해.
• 기존의 기계적 미학습 기법을 정확한 미학습과 근사적 미학습 방법으로 분류하고 분석하여 이론적 및 실용적 트레이드오프를 명확히 하기 위해.
• 복잡한 모델에서 미학습의 계산 효율성, 모델 일반화 능력, 개인정보 보호 보장 측면에서의 핵심 연구 격차를 규명하기 위해.
• 기계적 미학습을 신뢰할 수 있고 적응 가능한 AI 시스템의 핵심 기능으로 발전시키기 위한 향후 연구의 로드맵을 제공하기 위해.
• GDPR 및 CCPA와 같은 개인정보 보호 규정 준수를 지원하기 위해, 기술적 미학습 메커니즘을 통해 '잊혀질 권리'를 실현하기 위해.

제안 방법

• 기계적 미학습을 체계적으로 분류하는 분류 체계를 제안하며, 재학습을 통한 영향 완전 제거를 통한 정확한 미학습과 제한된 업데이트를 통한 영향 최소화를 통한 근사적 미학습으로 분류한다.
• 볼록 모델에서의 근사적 미학습을 위한 최신 기법인 영향 함수, 기울기 기반 업데이트, 재최적화 기법을 검토한다.
• 기존 접근법의 한계를 분석하며, 특히 계산 비용, 이론적 보장의 부재, 비볼록 모델로의 일반화 부족 문제를 다룬다.
• 사용자가 지정한 해상도 수준에서 미학습을 가능하게 하여 특정 의미적 구성 요소(예: 민감한 이미지 영역 또는 텍스트 토큰)를 제거할 수 있도록 하는 개념을 도입한다.
• 차별적 개인정보 보호와 정보 이론적 경계를 활용한 개인정보 보호 강화 메커니즘을 탐색하여, 표준 개인정보 보호 예산을 초월한 미학습 보장을 강화한다.
• 정보 이론 및 모델 해석 가능성 기반의 정량적 평가 지표 개발을 주장하며, 영향 유지 및 제거 정확도를 측정한다.

실험 결과

연구 질문

• RQ1 기계적 미학습은 어떻게 정확한 방법과 근사적 방법으로 공식적으로 분류될 수 있으며, 계산 비용과 정확도 측면에서 이들의 트레이드오프는 무엇인가?
• RQ2 비볼록 딥 뉴럴 네트워크(CNN, RNN 등)로의 미학습 확장에서의 주요 과제는 무엇이며, 이론적 보장을 유지하기 위해선 어떻게 해야 하는가?
• RQ3 미학습을 어떻게 상호작용적이고 해석 가능한 방식으로 세밀한 수준에서 수행할 수 있으며, 사용자가 어떤 의미적 구성 요소를 제거할지를 지정할 수 있도록 할 수 있는가?
• RQ4 차별적 개인정보 보호를 초월해 정보 泄露를 엄격히 제한할 수 있는 더 강력한 개인정보 보존 개념은 무엇인가?
• RQ5 다양한 데이터 포인트에 걸쳐 영향 제거 및 유지 정도를 체계적으로 측정할 수 있는 정량적 평가 지표는 어떻게 설계할 수 있는가?

주요 결과

• 정확한 미학습은 재학습을 통한 영향 완전 제거를 통해 강력한 이론적 보장을 제공하지만, 높은 계산 비용을 수반하여 단순한 모델에 국한되어 사용된다.
• 영향 함수 및 기울기 업데이트 기반의 근사적 미학습 방법은 계산 오버헤드를 크게 줄이지만, 영향 완전 제거를 보장하지는 않는다.
• 현재의 미학습 기법은 주로 로지스틱 회귀와 같은 볼록 모델에 국한되어 있으며, 비볼록 딥 뉴럴 네트워크에 효과적인 해법은 거의 없다.
• 영향 제거 및 유지 정도를 측정하기 위한 표준화된 평가 지표의 부재로 인해 재현성과 비교가 어려운 상황이다.
• 기존의 개인정보 보호 미학습는 개인정보 보호 예산을 완화한 차별적 개인정보 보호에 의존하여, 고보안 응용 분야에는 부적합할 수 있다.
• 향후 연구는 데이터 구조의 이질성, 모델 확장성, 사용자 기반의 미학습 해상도를 해결해야 하며, 이를 통해 실세계 적용이 가능해져야 한다.