[논문 리뷰] A Survey on Federated Unlearning: Challenges, Methods, and Future Directions

Ziyao Liu, Yu Jiang외 5명|arXiv (Cornell University)|2023. 10. 31.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 종합 검토는 연합 학습(FL)에서의 연합 삭제(federated unlearning, FU)에 대해 종합적인 분석을 제공하며, 모델 일관성, 삭제 효율성, 개인정보 보호 및 인증된 제거와 같은 핵심 과제를 설명한다. 기존 방법, 최적화 및 향후 연구 방향을 평가하며, 암호학적 검증, 클라이언트 동적 특성 고려, 도메인 특화 응용을 강조하는 통합 FU 워크플로우와 분류 체계를 제안한다.

ABSTRACT

In recent years, the notion of ``the right to be forgotten" (RTBF) has become a crucial aspect of data privacy for digital trust and AI safety, requiring the provision of mechanisms that support the removal of personal data of individuals upon their requests. Consequently, machine unlearning (MU) has gained considerable attention which allows an ML model to selectively eliminate identifiable information. Evolving from MU, federated unlearning (FU) has emerged to confront the challenge of data erasure within federated learning (FL) settings, which empowers the FL model to unlearn an FL client or identifiable information pertaining to the client. Nevertheless, the distinctive attributes of federated learning introduce specific challenges for FU techniques. These challenges necessitate a tailored design when developing FU algorithms. While various concepts and numerous federated unlearning schemes exist in this field, the unified workflow and tailored design of FU are not yet well understood. Therefore, this comprehensive survey delves into the techniques and methodologies in FU providing an overview of fundamental concepts and principles, evaluating existing federated unlearning algorithms, and reviewing optimizations tailored to federated learning. Additionally, it discusses practical applications and assesses their limitations. Finally, it outlines promising directions for future research.

연구 동기 및 목표

• 요청 시 클라이언트 데이터 또는 모델 영향을 제거할 수 있도록 연합 학습(FL)에서의 데이터 프라이버시 증가 수요를 충족시키기 위해.
• 연합 삭제에서 고유한 과제인 삭제 효율성, 개인정보 보호 및 인증된 제거를 식별하고 분석하기 위해.
• 삭제자 신원과 삭제 대상에 기반하여 기존 연합 삭제 기법을 분류하기 위한 통합 워크플로우와 분류 체계를 제공하기 위해.
• 현재 FU 방법의 한계를 평가하고 공정성, 설명 가능성 및 동적 클라이언트 관리 분야의 핵심 연구 격차를 부각하기 위해.
• LLM, 추천 시스템 및 그래프 신경망과 같은 도메인 특화 응용에서 FU의 잠재력을 탐색하고 향후 연구 기회를 식별하기 위해.

제안 방법

• 연합 삭제 과정 중 중심 서버, 나머지 클라이언트 및 삭제된 클라이언트 간의 상호작용을 모델링하는 통합 연합 삭제 워크플로우를 제안한다.
• 누가 삭제를 시작하는지(예: 클라이언트, 서버)와 무엇이 삭제되는지(전체 클라이언트 또는 부분 데이터)에 기반한 새로운 FU 기법 분류 체계를 도입한다.
• 인증된 삭제 검증을 위한 암호학적 기법(예: 제로지식 증명, ZKPs 및 신뢰형 실행 환경, TEEs)을 검토한다.
• 데이터 제거 시 모델 성능에 영향을 주지 않도록 보장하기 위해 비침습적 마킹 기반 검증 메커니즘을 분석한다.
• 통신 효율성 있는 삭제 및 동적 클라이언트 참여에 대한 내성에 특화된 최적화 기법을 검토한다.
• 동적이고 분산된 FL 환경에서의 프라이버시 보존 기법(예: PPTs)과 삭제 기법의 통합을 평가한다.

실험 결과

연구 질문

• RQ1 데이터 제거 후 재학습 수준의 모델 일관성을 달성하기 위해 연합 삭제는 어떻게 해야 하는가?
• RQ2 FL 환경에서 통신 및 계산 비용을 최소화하면서도 삭제 효율성을 확보하기 위한 메커니즘은 무엇인가?
• RQ3 서버나 다른 클라이언트가 로컬 클라이언트 데이터를 폭로하지 않도록 하면서도 개인정보 보호를 유지할 수 있는 방법은 무엇인가?
• RQ4 신뢰할 수 없는 FL 환경에서 데이터 또는 클라이언트 영향의 검증 가능하고 인증된 제거를 가능하게 하는 암호학적 또는 하드웨어 기반 솔루션은 무엇인가?
• RQ5 동적 클라이언트 환경과 LLM, GNN과 같은 도메인 특화 응용에 적합하게 연합 삭제는 어떻게 적응시켜야 하는가?

주요 결과

• 효율적인 연합 삭제를 위해서는 모델 일관성, 삭제 효율성, 개인정보 보호 및 인증된 제거를 균형 있게 고려해야 한다.
• 연합 학습에서 난이도 높은 재학습은 계산적으로 비현실적이므로, 실용적 구현을 위해 효율적인 삭제 알고리즘이 필수적이다.
• 신뢰 제약 환경에서 인증된 삭제를 위한 강력한 보장을 제공하는 암호학적 방법(예: 제로지식 증명, ZKPs 및 신뢰형 실행 환경, TEEs)이 있다.
• 데이터 조작으로 인한 성능 저하를 방지하기 위해 비침습적 검증 메커니즘(예: 마킹-검증)이 핵심이다.
• 클라이언트의 참여 중단, 재참여 및 데이터 겹침과 같은 클라이언트 동적 특성은 상당한 비결정성을 유도하므로, 클라이언트 동적 특성 고려형 FU 알고리즘이 필요하다.
• LLM, 추천 시스템 및 그래프 신경망 분야의 도메인 특화 응용은 잠재력이 있지만, 여전히 연합 삭제 환경에서 연구가 부족한 상태이다.