[논문 리뷰] On the Necessity of Auditable Algorithmic Definitions for Machine Unlearning

Anvith Thudi, Hengrui Jia외 2명|arXiv (Cornell University)|2021. 10. 22.

Privacy-Preserving Technologies in Data인용 수 16

한 줄 요약

이 논문은 기존의 머신 언러닝 정의—특히 매개변수 유사성에 기반한 근사 언러닝—가 근본적으로 잘못되어 있음을 주장한다. 왜냐하면 동일한 모델 매개변수는 서로 다른 데이터셋으로부터도 도출될 수 있기 때문에, 최종 모델 가중치만으로는 언러닝이 제대로 이뤄졌는지 확인할 수 없기 때문이다. 저자들은 언러닝이 유의미하게 감사될 수 있는 유일한 방법은 알고리즘 수준에서 이루어져야 한다고 결론 내리며, 언러닝 절차 자체가 검증 가능하고 투명해야만 데이터 제거가 정확히 이행됨을 보장할 수 있다고 주장한다.

ABSTRACT

Machine unlearning, i.e. having a model forget about some of its training data, has become increasingly more important as privacy legislation promotes variants of the right-to-be-forgotten. In the context of deep learning, approaches for machine unlearning are broadly categorized into two classes: exact unlearning methods, where an entity has formally removed the data point's impact on the model by retraining the model from scratch, and approximate unlearning, where an entity approximates the model parameters one would obtain by exact unlearning to save on compute costs. In this paper, we first show that the definition that underlies approximate unlearning, which seeks to prove the approximately unlearned model is close to an exactly retrained model, is incorrect because one can obtain the same model using different datasets. Thus one could unlearn without modifying the model at all. We then turn to exact unlearning approaches and ask how to verify their claims of unlearning. Our results show that even for a given training trajectory one cannot formally prove the absence of certain data points used during training. We thus conclude that unlearning is only well-defined at the algorithmic level, where an entity's only possible auditable claim to unlearning is that they used a particular algorithm designed to allow for external scrutiny during an audit.

연구 동기 및 목표

• 기본적으로 언러닝된 모델와 재학습된 모델 간의 매개변수 유사성에 의존하는 기존 근사 언러닝 정의의 근본적 결함을 규명하는 것.
• 모델 매개변수만으로는 언러닝을 검증할 수 없으며, 동일한 매개변수는 서로 다른 학습 데이터로부터도 도출될 수 있음을 보여주는 것.
• 모델 가중치를 분석하기만으로는 언러닝이 공식적으로 증명될 수 없으며, 가령 매개변수가 동일하게 보여도 말이다.
• 언러닝은 오직 알고리즘 수준의 검증—즉, 검증 가능한 절차를 통해만 정확한 언러닝을 보장할 수 있다는 주장을 펼치는 것.
• 향후 언러닝 시스템은 신뢰성과 규제 감사를 가능하게 하기 위해 검증 가능하고 투명한 알고리즘 설계가 필요하다는 제안

제안 방법

• 다른 데이터셋(특정 데이터 포인트를 포함하거나 제외한)이 경사 하강법 업데이트를 통해 동일하거나 유사한 모델 매개변수를 도출할 수 있는 '가짜 제작 가능성(forgeability)' 개념을 도입하는 것.
• 다른 미니배치에서의 경사 하강법 단계가 서로 다른 데이터 포인트를 사용하더라도 동일한 매개변수 업데이트를 낼 수 있음을 보여주는 것.
• 학습 경로(trajectory)—최종 매개변수뿐 아니라—가 학습을 정의하므로, 매개변수 기반 언러닝 검증은 본질적으로 신뢰할 수 없다는 것을 수식화하는 것.
• 표준 모델과 데이터셋을 대상으로 한 실험을 통해, 미니배치의 학습 포인트를 교체함으로써 모델 업데이트에 영향을 주지 않고도 언러닝을 '가짜'로 구현할 수 있음을 보여주는 것.
• 감사 절차를 모델 매개변수에서 알고리즘 프로세스로 옮겨야 하며, 예를 들어 검증 가능한 학습 또는 언러닝 절차의 감사 로그와 같은 방법을 제안하는 것.
• 오직 언러닝의 알고리즘적 구현을 검토함으로써만 데이터의 영향이 진정으로 제거되었는지 검증할 수 있다는 주장

실험 결과

연구 질문

• RQ1 언러닝된 모델의 최종 모델 매개변수를 데이터 포인트 없이 재학습한 모델의 매개변수와 비교함으로써 언러닝을 신뢰성 있게 검증할 수 있는가?
• RQ2 특정 학습 포인트를 포함하거나 제외한 두 개의 서로 다른 데이터셋으로부터 동일한 모델 매개변수를 도출할 수 있는가?
• RQ3 '가짜 제작 가능'한 데이터셋 존재가 매개변수 유사성에 기반한 근사 언러닝 정의의 타당성을 떨어뜨리는가?
• RQ4 모델 가중치 검사만으로는 특정 데이터 포인트의 영향이 모델에 존재하지 않음을 공식적으로 증명할 수 있는가?
• RQ5 신뢰성 있고 감사 가능한 머신 언러닝을 위해 필요한 추상화 수준은 매개변수 수준인지, 알고리즘 수준인지?

주요 결과

• 미니배치에서의 경사 하강 업데이트의 비유일성으로 인해, 특정 데이터 포인트를 포함하거나 제외한 두 개의 서로 다른 데이터셋으로 동일한 모델 매개변수를 도출할 수 있다.
• 동일한 모델 매개변수는 서로 다른 학습 경로를 통해 도출될 수 있으므로, 매개변수 유사성은 언러닝을 증명할 수 없다.
• 재학습된 모델과의 매개변수 근접도에 기반한 근사 언러닝 방법은 본질적으로 결함이 있으며, 학습된 모델과 언러닝된 모델를 구분할 수 없다.
• 모델 가중치만으로는 언러닝을 감사할 수 없으며, 동일한 가중치는 데이터 포인트가 포함되거나 제외된 경우에도 동일하게 도출될 수 있다.
• 언러닝을 신뢰할 만하게 검증할 수 있는 유일한 방법은 알고리즘 투명성—예를 들어 검증 가능한 학습 절차 또는 언러닝 과정의 검증 가능한 로그—를 통해 이루어져야 한다.
• 가짜 제작 가능성(forgeability) 개념은 학습 과정에 제약이 없으면서 데이터의 영향을 모델 행동에 연결하는 것이 정의되지 않음을 드러내며, 공정성과 성능 분석에 악영향을 미친다.