[논문 리뷰] Threshold KNN-Shapley: A Linear-Time and Privacy-Friendly Approach to Data Valuation

Jiachen T. Wang, Yuqing Zhu외 3명|arXiv (Cornell University)|2023. 08. 30.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 표준 KNN-Shapley 대신 고정된 K개의 가장 가까운 이웃이 아닌 임계값 기반 이웃 선택을 사용함으로써 선형 시간, 프라이버시 우호적인 데이터 평가 방법인 Threshold KNN-Shapley (TKNN-Shapley)를 제안한다. 이는 뛰어난 프라이버시-유용성 트레이드오프를 유지하면서도 실제 데이터셋에서 KNN-Shapley와 유사한 성능을 보이며, 효율적인 비차별적 프라이버시 보장을 가능하게 한다.

ABSTRACT

Data valuation aims to quantify the usefulness of individual data sources in training machine learning (ML) models, and is a critical aspect of data-centric ML research. However, data valuation faces significant yet frequently overlooked privacy challenges despite its importance. This paper studies these challenges with a focus on KNN-Shapley, one of the most practical data valuation methods nowadays. We first emphasize the inherent privacy risks of KNN-Shapley, and demonstrate the significant technical difficulties in adapting KNN-Shapley to accommodate differential privacy (DP). To overcome these challenges, we introduce TKNN-Shapley, a refined variant of KNN-Shapley that is privacy-friendly, allowing for straightforward modifications to incorporate DP guarantee (DP-TKNN-Shapley). We show that DP-TKNN-Shapley has several advantages and offers a superior privacy-utility tradeoff compared to naively privatized KNN-Shapley in discerning data quality. Moreover, even non-private TKNN-Shapley achieves comparable performance as KNN-Shapley. Overall, our findings suggest that TKNN-Shapley is a promising alternative to KNN-Shapley, particularly for real-world applications involving sensitive data.

연구 동기 및 목표

• KNN-Shapley가 값 점수를 통해 훈련 데이터 포인트에 대한 정보를 泄露할 수 있는 간과된 프라이버시 리스크를 다루기.
• KNN-Shapley의 높은 전역 감도가 비차별적 프라이버시(DP)와의 호환성을 떨어지게 하며, 이로 인해 유용성 손실이 상당히 발생한다는 점을 규명하기.
• 계산 효율성과 동시에 비차별적 프라이버시 보장과의 내재적 호환성을 갖춘 새로운 데이터 평가 프레임워크 개발하기.
• DP-TKNN-Shapley가 단순한 카운팅 쿼리를 통해 효과적인 DP를 구현하면서도 KNN-Shapley와 유사한 성능을 달성할 수 있음을 보여주기.
• 비공개 및 비차별적 프라이버시 설정 모두에서 다양한 데이터셋에 걸쳐 TKNN-Shapley의 강건성과 유용성에 대한 실증적 검증 제공하기.

제안 방법

• 테스트 포인트로부터 고정된 거리 임계값 이내에 있는 모든 훈련 포인트를 포함하는 KNN의 변종인 Threshold-KNN(TKNN)을 도입한다.
• TKNN 분류기 하에서 데이터 샤플리 값에 대한 닫힌 형태의 표현식을 유도하여 선형 시간 내 정확한 계산을 가능하게 한다.
• TKNN-Shapley가 오직 세 가지 카운팅 쿼리(예: 임계값 내 이웃 수)에만 의존함을 보여주며, 이는 라플라스 또는 가우시안 메커니즘을 통해 비차별적 프라이버시에 자연스럽게 적합하다.
• 이러한 카운팅 쿼리에 보정된 노이즈를 추가하여 공식적인 DP 보장을 보장하는 DP-TKNN-Shapley를 구축한다.
• TKNN-Shapley의 구조적 단순성을 활용해 모델 재학습 없이도 효율적이고 확장 가능하며 프라이버시 보장이 가능한 데이터 평가를 가능하게 한다.
• 고차원 데이터를 위한 마지막 레이어 신경망 표현에 TKNN-Shapley를 적용하기 위해 KNN-Shapley와 동일한 임bedding 기반 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 KNN-Shapley는 값 점수의 변동을 통해 훈련 데이터 포인트의 존재 여부를 유추하는 멤버십 인식 공격 유형으로 인해 얼마나 심각한 프라이버시 리스크를 유발하는가?
• RQ2 KNN-Shapley에 비차별적 프라이버시를 적용하는 데 있어 기술적 장벽은 무엇이며, 왜 그 전역 감도가 DP에 대한 비용이 큰 손실을 초래하는가?
• RQ3 계산 효율성과 동시에 내재적인 비차별적 프라이버시 보장이 가능한 수정된 KNN 기반 데이터 평가 방법을 설계할 수 있는가?
• RQ4 DP-TKNN-Shapley의 프라이버시-유용성 트레이드오프는 잘못된 레이블이나 노이즈가 있는 데이터를 탐지하는 데 있어 단순히 프라이버시화된 KNN-Shapley와 비교해 어떻게 다른가?
• RQ5 비공개 설정 하에서 TKNN-Shapley는 KNN-Shapley와 유사한 성능을 유지하는가? 특히 데이터 품질 평가 작업에서의 성능을 고려할 때

주요 결과

• 멤버십 인식 공격 유형의 실험을 통해 KNN-Shapley가 값 점수의 변동을 통해 훈련 데이터 포인트의 존재 여부를 추론할 수 있음을 입증하여 심각한 프라이버시 리스크를 드러냈다.
• KNN-Shapley는 높은 전역 감도를 지녀, 비차별적 프라이버시와의 호환성을 확보하기 위해 상당한 유용성 손실 없이선 불가능하다.
• 2dPlanes, CPU, Fraud 등 다양한 데이터셋에서 KNN-Shapley와 유사한 성능을 보이며, 잘못된 레이블이나 노이즈가 있는 데이터 탐지에 효과적이다.
• 나이브하게 프라이버시화된 KNN-Shapley에 비해 DP-TKNN-Shapley는 특히 저품질 데이터 포인트 식별에서 뛰어난 프라이버시-유용성 트레이드오프를 제공한다.
• 정확한 계산이 선형 시간 내에 가능하며, 간단한 카운팅 쿼리를 통한 엔드 투 엔드 비차별적 프라이버시 보장이 가능한 계산 효율성 확보.
• 실증 결과에 따르면 TKNN-Shapley는 하이퍼파라미터(예: τ 및 K)의 선택에 대해 강건하며, 다양한 임계값과 이웃 수에서 안정된 성능 유지