[논문 리뷰] PUMA: Performance Unchanged Model Augmentation for Training Data Removal

Ga Wu, Masoud Hashemi외 1명|arXiv (Cornell University)|2022. 03. 02.

Advanced Neural Network Applications인용 수 11

한 줄 요약

PUMA는 재학습 없이도 딥러닝 모델에서 표시된 훈련 데이터 포인트의 식별 가능한 특징을 제거하는 새로운 방법을 제안한다. 제약 조건이 있는 최적화를 통해 나머지 데이터를 재가중함으로써 모델 성능을 유지한다. 이는 회원성 추론 공격에 효과적으로 저항하며 校정성(calibration)을 유지하며, 재학습 및 이전의 제거 기법들보다 효율성과 정확도 유지 측면에서 뛰어나다.

ABSTRACT

Preserving the performance of a trained model while removing unique characteristics of marked training data points is challenging. Recent research usually suggests retraining a model from scratch with remaining training data or refining the model by reverting the model optimization on the marked data points. Unfortunately, aside from their computational inefficiency, those approaches inevitably hurt the resulting model's generalization ability since they remove not only unique characteristics but also discard shared (and possibly contributive) information. To address the performance degradation problem, this paper presents a novel approach called Performance Unchanged Model Augmentation~(PUMA). The proposed PUMA framework explicitly models the influence of each training data point on the model's generalization ability with respect to various performance criteria. It then complements the negative impact of removing marked data by reweighting the remaining data optimally. To demonstrate the effectiveness of the PUMA framework, we compared it with multiple state-of-the-art data removal techniques in the experiments, where we show the PUMA can effectively and efficiently remove the unique characteristics of marked training data without retraining the model that can 1) fool a membership attack, and 2) resist performance degradation. In addition, as PUMA estimates the data importance during its operation, we show it could serve to debug mislabelled data points more efficiently than existing approaches.

연구 동기 및 목표

• 모델 성능을 유지하면서도 훈련된 모델에서 고유한 데이터 특징을 제거하는 데 도전한다.
• 데이터 제거 후 다시 학습하는 데서 비효율성과 성능 저하 문제를 해결한다.
• 표시된 데이터 포인트를 제거한 후에도 모델의 일반화 능력과 校정성(calibration)을 유지하는 방법을 개발한다.
• 온라인 기계학습 서비스에서 데이터 제거 요청에 대해 효율적이고 실시간으로 대응할 수 있도록 한다.
• 틀린 레이블이나 문제 있는 예측을 탐지하고 디버깅할 수 있는 프레임워크를 제공한다.

제안 방법

• PUMA는 훈련 목표 외에도 다양한 기준을 활용해 각 훈련 데이터 포인트가 모델 성능에 미치는 영향을 모델링한다.
• 표시된 데이터를 제거했을 때 발생하는 부정적 영향을 상쇄하기 위해 나머지 데이터 포인트를 재가중하기 위한 제약 조건이 있는 최적화 문제를 설정한다.
• 재가중은 희소적이고 최적화된 방식으로, 전체 재학습 없이 기존 모델에 선형 패치 형태로 적용된다.
• 예측 정확도 및 예측 신뢰도를 높이기 위해 Expected Calibration Error (ECE)와 같은 성능 기준을 최적화 지침으로 사용한다.
• 영향 함수(influence functions)와 기울기 기반 추정을 활용해 데이터 중요도를 평가하고 재가중을 이끌어낸다.
• PUMA는 다양한 성능 지표(예: ECE, 정확도)를 활용해 모델의 校정성 또는 강건성 요구에 맞게 적용 가능하다.

실험 결과

연구 질문

• RQ1 재학습 없이도 성능을 유지하면서 데이터 제거를 수행할 수 있는가?
• RQ2 나머지 데이터의 재가중을 통해 표시된 데이터 제거가 초래하는 부정적 영향을 어떻게 상쇄할 수 있는가?
• RQ3 PUMA는 회원성 추론 공격에 효과적으로 저항하기 위해 데이터 고유 특징을 효과적으로 숨길 수 있는가?
• RQ4 PUMA는 모델의 校정성(calibration)을 얼마나 향상시키고, 잘못된 레이블이나 문제 있는 예측을 얼마나 정확하게 탐지하는가?
• RQ5 PUMA는 온라인 기계학습 서비스에서 실시간 데이터 제거에 대해 확장 가능하고 효과적인가?

주요 결과

• PUMA는 성능 저하 없이 고유한 데이터 특징을 제거함으로써 회원성 추론 공격를 성공적으로 속인다.
• PUMA 적용 후 모델의 Expected Calibration Error (ECE)가 크게 감소하여 예측 신뢰도가 향상됨을 나타낸다.
• PUMA는 잘못된 레이블이 부여된 데이터 포인트, 과도하게 자신감 있는 예측, 과도하게 불확실한 예측을 높은 정확도로 식별하고 고립한다.
• 표시된 데이터 포인트를 제거한 후에도 원본 모델과 유사한 성능을 유지한다.
• PUMA는 재학습 및 이전의 제거 기법들보다 효율성과 성능 유지 측면에서 뛰어나다.
• PUMA는 전체 재학습 없이도 모델의 校정성 오류나 레이블 오류 등의 문제를 디버깅할 수 있도록 한다.