[論文レビュー] Statistical Learning Theory Approach for Data Classification with l-diversity

Koray Mancuhan, Chris Clifton|arXiv (Cornell University)|Oct 18, 2016

Privacy-Preserving Technologies in Data参考文献 21被引用数 5

ひとこと要約

本論文は、ℓ-多様性を用いたデータ匿名化による解体（anatomization）を経て、サポートベクタークラスファイア（SVC/SVM）の学習に適した統計的学習理論に基づく前処理手法を提案する。理論的および実験的に、このような分類器が元のデータで学習した場合と同等またはそれ以上の汎化性能を達成できることを示し、一般化に基づくk-匿名性を上回る性能を発揮しながらも、強力なプライバシー保証を維持していることを明らかにする。

ABSTRACT

Corporations are retaining ever-larger corpuses of personal data; the frequency or breaches and corresponding privacy impact have been rising accordingly. One way to mitigate this risk is through use of anonymized data, limiting the exposure of individual data to only where it is absolutely needed. This would seem particularly appropriate for data mining, where the goal is generalizable knowledge rather than data on specific individuals. In practice, corporate data miners often insist on original data, for fear that they might "miss something" with anonymized or differentially private approaches. This paper provides a theoretical justification for the use of anonymized data. Specifically, we show that a support vector classifier trained on anatomized data satisfying l-diversity should be expected to do as well as on the original data. Anatomy preserves all data values, but introduces uncertainty in the mapping between identifying and sensitive values, thus satisfying l-diversity. The theoretical effectiveness of the proposed approach is validated using several publicly available datasets, showing that we outperform the state of the art for support vector classification using training data protected by k-anonymity, and are comparable to learning on the original data.

研究の動機と目的

• 解体されたデータを機械学習に用いる理論的根拠を提供すること。特に、サポートベクタークラスファイアに対して。
• データサイエンティストが匿名化データを避ける傾向にあるという懸念（有用性の損失の懸念）に対処すること。
• 元の値を保持する解体手法が、元のデータで学習したモデルと同等またはそれ以上の汎化性能を示す分類器を生成できることを実証すること。
• 統計的学習理論と公開データセットを用いた実験的評価を通じて、提案手法の有効性を検証すること。
• 分類精度とプライバシーの観点から、提案された解体ベースの手法とk-匿名性、および元のデータでの学習を比較すること。

提案手法

• 著者らは、解体されたデータから線形分離可能な学習データを再構築するヒューリスティックな前処理アルゴリズムを導入し、効果的なSVC/SVMの学習を可能にする。
• 統計的学習理論を適用して、解体されたデータで学習した分類器の汎化誤差を制限し、理論的保証を導出する。
• 識別的属性と感受性属性の間のマッピングに不確実性を導入しながらも、元の属性値を保持する。これによりℓ-多様性を満たす。
• 最小性や相関に基づく攻撃に対して耐性を持つよう、感受性属性をグループにランダムに割り当てる。
• 理論的分析は、ランダムワールド仮説とシャッタリング性質に根ざしており、マージン理論から導かれた境界が用いられる。
• 実験的検証として、複数の公開データセットを用い、元のデータ、解体されたデータ、k-匿名化されたデータの間で性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 ℓ-多様性に基づく解体されたデータで学習したサポートベクタークラスファイアは、元のデータで学習した場合と同等の汎化性能を達成できるか？
• RQ2 一般化に基づく匿名化を用いたk-匿名化データで学習した分類器と比較して、解体されたデータで学習した分類器の性能はいかがなっているか？
• RQ3 分類精度とプライバシー-有用性トレードオフの観点から、解体がk-匿名性を上回る条件は何か？
• RQ4 提案された前処理手法は、解体されたデータに対するSVC/SVMの理論的汎化境界を保証するか？
• RQ5 ℓパラメータがモデル性能に与える影響は何か？また、過学習や未学習の観点からどのように関連しているか？

主な発見

• ℓ ≥ 4 の場合、理論的期待とは逆に、解体されたデータで学習した剪定済みSVC/SVMが元のSVC/SVMを上回った。これは正則化効果を示唆している。
• ℓ = 3 から 5 の範囲では、解体されたSVCの平均誤差率がk-匿名化されたSVCよりも低く、一般化に基づく手法に比べて優れた有用性を示した。
• 感受性属性が強い予測子である場合、解体されたSVCが識別的SVCを上回るのはℓ = 2 のみであり、ℓが高くなるとℓ-多様性が不適切にチューニングされた正則化子として機能することが示唆された。
• すべてのℓ値において、解体されたSVCはk-匿名化されたSVCを常に上回った。これは、一般化よりも元の値を保持する手法の優位性を確認した。
• 結果から、解体はデータの有用性を保持するとともにℓ-多様性を満たすことができ、k-匿名性の代替としてプライバシー保護型データマイニングに有効であることが示された。
• 理論的境界（4.6）は、抑制が一切行われない場合にのみ成立する。ℓ ≥ 4 の場合の観察された性能向上は、この境界下では統計的に有意でないため、モデルに予期しない正則化効果が存在する可能性を示唆している。