[논문 리뷰] Towards Bridging the Gaps between the Right to Explanation and the Right to be Forgotten

Satyapriya Krishna, Jiaqi Ma외 1명|arXiv (Cornell University)|2023. 02. 08.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 개인정보 보호법의 '잊힐 권리'에 따라 데이터 삭제 요청이 발생할 경우 모델 업데이트로 인해 이전에 제공된 반성적 설명이 무효화되는 문제를 해결하기 위해, 이러한 상황에서도 유효성이 유지되는 반성적 설명을 생성할 수 있는 최초의 알고리즘적 프레임워크인 ROCERF를 제안한다. 강건한 최적화 문제를 수립하고 조합적 복잡성을 다루기 위한 효율적인 근사 기법을 활용함으로써, ROCERF는 악성 데이터 삭제 상황에서도 반성적 설명이 증명 가능하게 보장하며, 로지스틱 회귀 모델에서 100%의 유효성과 최신 기술 대비 뛰어난 유효성 및 비용 효율성을 확보한다.

ABSTRACT

The Right to Explanation and the Right to be Forgotten are two important principles outlined to regulate algorithmic decision making and data usage in real-world applications. While the right to explanation allows individuals to request an actionable explanation for an algorithmic decision, the right to be forgotten grants them the right to ask for their data to be deleted from all the databases and models of an organization. Intuitively, enforcing the right to be forgotten may trigger model updates which in turn invalidate previously provided explanations, thus violating the right to explanation. In this work, we investigate the technical implications arising due to the interference between the two aforementioned regulatory principles, and propose the first algorithmic framework to resolve the tension between them. To this end, we formulate a novel optimization problem to generate explanations that are robust to model updates due to the removal of training data instances by data deletion requests. We then derive an efficient approximation algorithm to handle the combinatorial complexity of this optimization problem. We theoretically demonstrate that our method generates explanations that are provably robust to worst-case data deletion requests with bounded costs in case of linear models and certain classes of non-linear models. Extensive experimentation with real-world datasets demonstrates the efficacy of the proposed framework.

연구 동기 및 목표

• 반성적 설명의 권리와 잊힐 권리 간의 운영적 갈등을 해결하기 위해, 데이터 삭제로 인해 기존에 제공된 반성적 설명이 무효화되는 문제를 해결한다.
• 데이터 삭제 요청으로 인한 모델 업데이트에 강건한 반성적 설명을 생성하는 방법을 개발한다.
• 재학습 또는 모델 업데이트로 인한 데이터 삭제 이후에도 설명이 실용적이고 유효성을 유지할 수 있도록 보장한다.
• 실제 데이터 삭제 상황을 고려할 때 유효성과 최소한의 복귀 비용 간의 균형을 확보한다.
• 제한된 삭제 요청 상황 하에서 선형 및 특정 비선형 모델에 대해 유효성과 비용 한계에 대한 이론적 보장을 제공한다.

제안 방법

• 모든 $k$개의 데이터 삭제에 대해 유효성이 유지되는 반성적 설명을 생성하기 위한 새로운 최적화 문제를 수립한다.
• 모든 $\binom{n}{k}$가지 가능한 삭제 조합에 대해 재학습 없이 모델 업데이트를 추정하기 위한 효율적인 근사 알고리즘을 도입한다.
• 모델 업데이트 중 가장 영향력이 큰 변화를 식별하기 위해 서브티튜트 모델을 사용하여 계산 비용을 줄인다.
• 이 근사 기법을 활용해 악성 데이터 삭제 상황에서도 강건한 반성적 설명을 학습한다.
• 선형 및 특정 비선형 모델에 대해 비용 증가가 최대 $O(\frac{k}{n})$ 이내로 제한됨을 보여주는 이론적 경계를 유도한다.
• 모델 업데이트 상황에서도 유효성과 비용 제약 조건을 모두 만족하는 반성적 설명을 생성하기 위해 기울기 기반 접근법을 적용한다.

실험 결과

연구 질문

• RQ1 잊힐 권리에 따라 데이터 삭제 요청이 발생할 경우 반성적 설명이 모델 업데이트 후에도 유효성을 유지할 수 있는가?
• RQ2 제한된 데이터 삭제 상황 하에서 강건한 반성적 설명을 생성할 경우 이론적 비용 한계는 무엇인가?
• RQ3 실제 적용 시 모든 가능한 데이터 삭제 조합을 고려하는 조합적 복잡성을 효율적으로 관리할 수 있는가?
• RQ4 실제 세계의 데이터 삭제 상황에서 ROCERF의 반성적 설명 강건성은 최신 기술 대비 어떻게 비교되는가?
• RQ5 다양한 모델 아키텍처와 데이터셋에서 이론적 유효성 보장이 실제로 얼마나 잘 유지되는가?

주요 결과

• ROCERF는 모든 실험 설정에서 로지스틱 회귀 모델에서 평균 유효성 100%를 달성하였으며, 최대 5%의 데이터 삭제율 조건에서도 이론적 보장을 검증하였다.
• 로지스틱 회귀 모델에서 ROCERF는 SCFE를 제외한 모든 방법 대비 가장 낮은 비용을 기록하였으며, SCFE나 C-CHVAE보다는 훨씬 높은 유효성을 확보하였다.
• 신경망 모델에서는 ROCERF가 유효성 면에서 최고의 베이스라인 메서드를 항상 초월하거나 동등하게 유지하면서도 비용은 낮거나 유사한 수준을 기록하였으며, 특히 COMPAS 데이터셋에서 뛰어난 성능을 보였다.
• 악성 데이터 삭제 상황에서도 유효성이 유지되므로, 사용자가 제안한 조치가 무효화되는 위험을 줄였다.
• 실증 결과에 따르면, 모델 업데이트로 인해 결정 경계가 극적으로 변화할 수 있으나(특히 소규모 데이터셋에서), ROCERF는 최소한의 비용 증가로도 높은 유효성을 유지함을 확인하였다.
• 모든 데이터셋에서 ROCERF는 ROAR보다 유효성과 비용 면에서 뛰어나, 데이터 삭제 제약 조건 하에서 강건하고 실용적인 설명을 생성하는 데서의 우수성을 입증하였다.