[논문 리뷰] $k$-Anonymity in Practice: How Generalisation and Suppression Affect Machine Learning Classifiers

Djordje Slijepčević, Maximilian Henzl외 4명|arXiv (Cornell University)|2021. 02. 09.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 4

한 줄 요약

이 논문은 실세계 데이터셋을 대상으로 k-익명성 기법—특히 일반화와 억압—이 기계학습 분류기 성능에 미치는 영향을 평가한다. 강력한 k-익명성 제약 조건에서 분류 정확도가 떨어지지만, 몬드리안 알고리즘은 특히 높은 k 값에서 성능을 가장 잘 유지하며, 억압는 명확한 성능 희생 없이도 영향을 주는 유연성을 제공한다는 점을 발견한다.

ABSTRACT

The protection of private information is a crucial issue in data-driven research and business contexts. Typically, techniques like anonymisation or (selective) deletion are introduced in order to allow data sharing, e. g. in the case of collaborative research endeavours. For use with anonymisation techniques, the $k$-anonymity criterion is one of the most popular, with numerous scientific publications on different algorithms and metrics. Anonymisation techniques often require changing the data and thus necessarily affect the results of machine learning models trained on the underlying data. In this work, we conduct a systematic comparison and detailed investigation into the effects of different $k$-anonymisation algorithms on the results of machine learning models. We investigate a set of popular $k$-anonymisation algorithms with different classifiers and evaluate them on different real-world datasets. Our systematic evaluation shows that with an increasingly strong $k$-anonymity constraint, the classification performance generally degrades, but to varying degrees and strongly depending on the dataset and anonymisation method. Furthermore, Mondrian can be considered as the method with the most appealing properties for subsequent classification.

연구 동기 및 목표

• k-익명성 기법—일반화와 억압—이 기계학습 분류기 성능에 미치는 영향을 체계적으로 평가하기 위해.
• 다양한 k-익명화 알고리즘(예: 몬드리안, MDAV, k-Optimize)이 기계학습 유용성에 미치는 영향을 비교하기 위해.
• 강력한 프라이버시 보장을 확보하면서도 높은 분류 정확도를 유지하는 익명화 전략을 특정하기 위해.
• 재현 가능성과 프라이버시 보존 기계학습 분야의 향후 연구를 지원하기 위해 오픈소스 코드와 데이터셋을 제공하기 위해.

제안 방법

• 다양한 특성을 지닌 네 개의 실세계 데이터셋에 대해 몬드리안, MDAV, k-Optimize 등의 k-익명화 알고리즘 세트를 적용하였다.
• 각 준식별자(QID) 값이 최소한 k−1개의 다른 레코드와 공유되어야 하는 조건을 만족하기 위해 일반화와 억압를 핵심 데이터 변환 기법으로 사용하였다.
• 원본 및 익명화된 데이터셋을 기반으로 여러 분류기(예: 랜덤 포레스트, SVM, 로지스틱 회귀)를 훈련시켜 성능을 비교하였다.
• 표준 지표(예: 정확도, F1 점수)를 사용해 분류 성능을 측정하였고, 정보 손실 및 데이터 왜곡 영향을 평가하였다.
• 일반화와 억압가 분류기 성능에 미치는 영향를 분리하기 위해 아블레이션 연구를 수행하였다.
• 모든 코드, 데이터셋, 메타데이터를 GitHub를 통해 배포하여 개방 과학 및 재현 가능성을 촉진하였다.

실험 결과

연구 질문

• RQ1 증가하는 k-익명성 제약 조건이 다양한 데이터셋에서 기계학습 분류기 성능에 어떻게 영향을 미치는가?
• RQ2 강력한 k-익명성 조건 하에서 몬드리안, MDAV, 또는 k-Optimize 중 어떤 k-익명화 알고리즘이 분류 성능을 가장 잘 유지하는가?
• RQ3 일반화와 억압가 기계학습 모델 정확도에 미치는 상대적 영향은 무엇인가?
• RQ4 데이터셋 고유의 특성(예: 목표 변수와의 기능 상관관계)이 익명화로 인한 성능 저하에 어떻게 영향을 미치는가?
• RQ5 일반화로 인한 변동성을 줄이기 위해 억압를 얼마나 활용할 수 있으며, 이로 인해 모델 성능이 저하되지 않는가?

주요 결과

• 분류 성능는 일반적으로 k-익명성 제약 조건이 강화될수록 떨어지지만, 그 정도의 저하 정도는 데이터셋과 익명화 방법에 따라 크게 다름을 확인함.
• 몬드리안는 다른 k-익명화 방법보다 일관되게 뛰어난 성능을 보였으며, 특히 adult 및 cmc 데이터셋에서 k=100일 때도 높은 분류 정확도를 유지함.
• adult 데이터셋의 경우, 랜덤 포레스트와 몬드리안를 사용할 때 성능 손실가 매우 미미함(7% 미만), 반면 mgm 및 cahousing 데이터셋은 유사 조건에서 약 13%의 성능 손실를 보임.
• 억압는 일반화보다 더 예측 불가능한 변동성을 유발했으며, 일부 억압를 允여함으로써 익명화의 영향을 주는 데에 더 큰 영향을 주는 데에 유리함을 확인함.
• 준식별자가 목표 변수와 강하게 상관관계가 있을 경우 일반화의 부정적 영향이 더 크게 나타나, 데이터 왜곡에 대한 기능별 민감도를 확인함.
• 이 연구는 k-익명성이 고 k 값(예: k=100)에서도 수용 가능한 유용성 손실로 적용 가능함을 확인하였으며, 특히 몬드리안를 사용할 경우 실용적인 타당성을 뒷받침함.