[論文レビュー] $k$-Anonymity in Practice: How Generalisation and Suppression Affect Machine Learning Classifiers

Djordje Slijepčević, Maximilian Henzl+4 more|arXiv (Cornell University)|Feb 9, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用数 4

ひとこと要約

本稿では、k-匿名性技術—特に一般化と抑制—が、実世界のデータセットにおける機械学習分類器のパフォーマンスに与える影響を評価する。強固なk-匿名性制約が適用されるほど分類精度が低下するが、Mondrianアルゴリズムが特に高いk値下でもパフォーマンスを最もよく維持しており、抑制は明確なパフォーマンスのトレードオフなしに柔軟性を提供することがわかった。

ABSTRACT

The protection of private information is a crucial issue in data-driven research and business contexts. Typically, techniques like anonymisation or (selective) deletion are introduced in order to allow data sharing, e. g. in the case of collaborative research endeavours. For use with anonymisation techniques, the $k$-anonymity criterion is one of the most popular, with numerous scientific publications on different algorithms and metrics. Anonymisation techniques often require changing the data and thus necessarily affect the results of machine learning models trained on the underlying data. In this work, we conduct a systematic comparison and detailed investigation into the effects of different $k$-anonymisation algorithms on the results of machine learning models. We investigate a set of popular $k$-anonymisation algorithms with different classifiers and evaluate them on different real-world datasets. Our systematic evaluation shows that with an increasingly strong $k$-anonymity constraint, the classification performance generally degrades, but to varying degrees and strongly depending on the dataset and anonymisation method. Furthermore, Mondrian can be considered as the method with the most appealing properties for subsequent classification.

研究の動機と目的

• k-匿名性技術（一般化と抑制）が機械学習分類器のパフォーマンスに与える影響を体系的かつ評価すること。
• Mondrian、MDAV、k-Optimizeなどの複数のk-匿名化アルゴリズムが、下流のMLユーティリティに与える影響を比較すること。
• k-匿名性のもとで強いプライバシー保証を確保しつつ、高い分類精度を維持できる匿名化戦略を同定すること。
• 再現可能性とプライバシー保護型機械学習分野における今後の研究を支援するため、オープンソースのコードとデータセットを提供すること。

提案手法

• 特徴の異なる4つの実世界データセットに、Mondrian、MDAV、k-Optimizeを含むk-匿名化アルゴリズムのスイートを適用した。
• k-匿名性を達成するためのコアなデータ変換技術として、一般化と抑制を用い、各準識別子（QID）の値が少なくともk−1件の他のレコードと共有されるようにした。
• オリジナルデータセットと匿名化済みデータセットの両方で、複数の分類器（例：ランダムフォレスト、SVM、ロジスティック回帰）を訓練し、パフォーマンスを比較した。
• 標準指標（例：正解率、F1スコア）を用いて分類パフォーマンスを測定し、情報損失とデータ歪みの影響を評価した。
• 一般化と抑制がモデルパフォーマンスに与える影響を分離するためのアブレーションスタディを実施した。
• GitHubを通じて、すべてのコード、データセット、メタデータを公開し、オープンサイエンスと再現可能性を促進した。

実験結果

リサーチクエスチョン

• RQ1 k-匿名性制約を強化することで、異なるデータセットにおける機械学習分類器のパフォーマンスにどのような影響が生じるか？
• RQ2 強固なk-匿名性下で、Mondrian、MDAV、k-Optimizeの中では、どのk-匿名化アルゴリズムが分類パフォーマンスを最もよく維持するか？
• RQ3 一般化と抑制の相対的な影響は、下流のMLモデルの精度にどのように現れるか？
• RQ4 データセット固有の特徴（例：特徴量と目的変数との相関）は、匿名化によるパフォーマンス劣化にどのように影響するか？
• RQ5 一般化によって生じる変動を軽減するために、抑制をどの程度活用できるか？その際、モデルパフォーマンスが劣化しない範囲でどの程度の柔軟性が得られるか？

主な発見

• 分類パフォーマンスはk-匿名性が強化されるに従い一般に低下するが、その低下度合いはデータセットや匿名化手法によって顕著に異なる。
• Mondrianは一貫して他のk-匿名化手法を上回り、特にadultおよびcmcデータセットではk=100であっても高い分類精度を維持した。
• adultデータセットでは、ランダムフォレストとMondrianを用いた場合、性能損失は最小限（7%未満）であったが、mgmおよびcahousingデータセットでは同様の条件下で約13%の性能損失が生じた。
• 抑制は一般化よりも予測が難しい変動を引き起こしにくく、一部の抑制を許容することで匿名化の柔軟性が向上し、明確なパフォーマンスのペナルティなしに実現された。
• 準識別子が目的変数と強く相関している場合、一般化がより強い負の影響を及ぼすことが示され、データ歪みに対して特徴ごとの感受性が顕著に現れた。
• 本研究では、k-匿名性がk=100のような高いk値でも、特にMondrianを用いることで、許容できるユーティリティ損失で適用可能であることが確認された。これは、プライバシー保護型機械学習における実用的妥当性を裏付けている。