[論文レビュー] Threshold KNN-Shapley: A Linear-Time and Privacy-Friendly Approach to Data Valuation

Jiachen T. Wang, Yuqing Zhu+3 more|arXiv (Cornell University)|Aug 30, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、固定されたK個の近傍点ではなく、しきい値に基づく近傍選択を用いることで、標準的なKNN-Shapleyに代わる線形時間、プライバシーに配慮したデータ評価手法であるThreshold KNN-Shapley (TKNN-Shapley) を提案する。この手法は、優れたプライバシー・ユーティリティトレードオフを実現しつつ、実世界のデータセットにおいてKNN-Shapleyと同等の性能を維持する、効率的な微分プライバシーを適用可能なデータ評価を可能にする。

ABSTRACT

Data valuation aims to quantify the usefulness of individual data sources in training machine learning (ML) models, and is a critical aspect of data-centric ML research. However, data valuation faces significant yet frequently overlooked privacy challenges despite its importance. This paper studies these challenges with a focus on KNN-Shapley, one of the most practical data valuation methods nowadays. We first emphasize the inherent privacy risks of KNN-Shapley, and demonstrate the significant technical difficulties in adapting KNN-Shapley to accommodate differential privacy (DP). To overcome these challenges, we introduce TKNN-Shapley, a refined variant of KNN-Shapley that is privacy-friendly, allowing for straightforward modifications to incorporate DP guarantee (DP-TKNN-Shapley). We show that DP-TKNN-Shapley has several advantages and offers a superior privacy-utility tradeoff compared to naively privatized KNN-Shapley in discerning data quality. Moreover, even non-private TKNN-Shapley achieves comparable performance as KNN-Shapley. Overall, our findings suggest that TKNN-Shapley is a promising alternative to KNN-Shapley, particularly for real-world applications involving sensitive data.

研究の動機と目的

• KNN-Shapleyが、値スコアを通じて訓練データポイントに関する情報を漏洩させる可能性があるという、これまで軽視されてきたプライバシーリスクに対処する。
• KNN-Shapleyの高いグローバル感度が、実用的なユーティリティ損失なしに微分プライバシー（DP）に適合できないことの特定。
• 計算効率的かつネイティブにDP保証に対応可能な新しいデータ評価フレームワークの開発。
• TKNN-Shapleyが、KNN-Shapleyと同等の性能を発揮しながら、単純なカウントクエリを用いて効果的なDPを実現できることの実証。
• 非プライベートおよび微分プライベート設定下での、多様なデータセットにおけるTKNN-Shapleyの頑健性とユーティリティの実証的検証。

提案手法

• KNNの変種として、テストポイントからの固定距離しきい値内にあるすべての訓練データポイントを含む、Threshold-KNN（TKNN）を導入。
• TKNN分類器におけるデータシャープリー値の閉形式表現を導出することで、線形時間での正確な計算を可能にする。
• TKNN-Shapleyが、3つのカウントクエリ（例：しきい値内に含まれる近傍点の数）にのみ依存することを示し、これによりラプラスまたはガウスメカニズムによる微分プライバシーが自然に適用可能になる。
• これらのカウントクエリに適切にスケーリングされたノイズを追加することで、正式なDP保証を持つDP-TKNN-Shapleyを構築。
• TKNN-Shapleyの構造的単純性を活かし、モデル再訓練なしに効率的かつスケーラブルかつプライベートなデータ評価を可能にする。
• 高次元データのための最後の層ニューラルネットワーク表現にTKNN-Shapleyを適用する、KNN-Shapleyと同一の埋め込みベースフレームワークを採用。

実験結果

リサーチクエスチョン

• RQ1 KNN-Shapleyは、値スコアの変動を用いて、訓練データポイントの存在／非存在を推定するメンバーシップインファレンス型攻撃によって、どれほど訓練データに関するプライベートな情報を露呈するか？
• RQ2 KNN-Shapleyに微分プライバシーを適用する技術的障壁は何か？ なぜその高いグローバル感度がDPに不適切であるのか？
• RQ3 計算効率的かつネイティブに微分プライバシー対応可能な、修正されたKNNベースのデータ評価手法を設計可能か？
• RQ4 DP-TKNN-Shapleyのプライバシー・ユーティリティトレードオフは、KNN-Shapleyを単純にプライベート化した場合と比較して、誤標識やノイズのあるデータの検出においてどのように異なるか？
• RQ5 非プライベート環境下でも、TKNN-ShapleyはKNN-Shapleyと同等の性能を維持するのか、データ品質評価タスクにおいて？

主な発見

• KNN-Shapleyは、値スコアの変動を用いたメンバーシップインファレンス型攻撃によって、訓練データポイントの存在／非存在を推定可能であることが実証され、顕著なプライバシーリスクを有する。
• KNN-Shapleyは高いグローバル感度を有しており、実用的なユーティリティ損失なしに微分プライバシーに適合できない。
• TKNN-Shapleyは、2dPlanes、CPU、Fraudなど複数のデータセットにおいて、誤標識やノイズのあるデータの検出において、KNN-Shapleyと同等の性能を発揮する。
• DP-TKNN-Shapleyは、単純にプライベート化されたKNN-Shapleyと比較して、より優れたプライバシー・ユーティリティトレードオフを実現しており、特に低品質データポイントの同定において顕著である。
• 計算が効率的であり、線形時間での正確な計算が可能で、単純なカウントクエリを介してエンドツーエンドの微分プライベートなデータ評価をサポートする。
• 実証的結果から、TKNN-Shapleyはハイパーパrameter（例：τおよびK）の選択に対して頑健であり、さまざまなしきい値および近傍点数において安定した性能を維持することが示された。