[論文レビュー] Measuring Data Leakage in Machine-Learning Models with Fisher Information

Awni Hannun, Chuan Guo+1 more|arXiv (Cornell University)|Feb 23, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用数 15

ひとこと要約

本稿では、Cramér-Raoの下界を用いて敵の推論能力を制限することで、相関を考慮した例ごとのデータ漏洩れを測定するためのFisher情報損失（FIL）を提案する。FILは属性反転攻撃に対する脆弱性を正確に捉え、反復的再重み付け（IRFIL）を用いてモデルの有用性を損なわずに個々の個人にわたる漏洩れを均等化する公平なプライバシーを実現する。

ABSTRACT

Machine-learning models contain information about the data they were trained on. This information leaks either through the model itself or through predictions made by the model. Consequently, when the training data contains sensitive attributes, assessing the amount of information leakage is paramount. We propose a method to quantify this leakage using the Fisher information of the model about the data. Unlike the worst-case a priori guarantees of differential privacy, Fisher information loss measures leakage with respect to specific examples, attributes, or sub-populations within the dataset. We motivate Fisher information loss through the Cramér-Rao bound and delineate the implied threat model. We provide efficient methods to compute Fisher information loss for output-perturbed generalized linear models. Finally, we empirically validate Fisher information loss as a useful measure of information leakage.

研究の動機と目的

• 微分プライバシーのような最悪ケースのプライバシー保証の限界を是正すること。これは、個々の個人やグループの脆弱性を考慮しない。
• データ相関と敵の能力の差を考慮した柔軟で例に特化した情報漏洩れの測定法を構築すること。
• 特に推論攻撃に対する不均等な脆弱性を是正することで、サブグループにわたる漏洩れを均等化し、プライバシーの公平性を実現すること。
• FILが属性反転攻撃およびメンバーシップ推定攻撃への感受性の信頼できる代理指標であることを検証すること。
• 訓練中の例の重みを調整することで、Fisher情報損失を例ごとに均等化する反復的再重み付けアルゴリズム（IRFIL）の設計と評価を行うこと。

提案手法

• Fisher情報損失（FIL）は、推定誤差のCramér-Rao下界の負の対数として定義され、特定のデータポイントに関してモデルが漏洩できる最大情報量を測定する。
• 出力ノイズを加えた一般化線形モデルに対して、FILの計算に適した閉形式の式が導出され、効率的な計算が可能になる。
• FILと実際の攻撃成功率との相関を評価するために、ホワイトボックスおよびブラックボックスの属性反転攻撃フレームワークが用いられる。
• 反復的再重み付けによるFisher情報損失（IRFIL）は、訓練中に例の重みを調整することで、個々の個人にわたる漏洩れを均等化することを目的とする。
• Cramér-Rao下界を用いて、FILが有界であれば、敵が元のデータ属性を推定する能力が制限されることを正当化する。
• FILの攻撃感受性への感受性を検証するため、線形回帰にL2正則化とノイズ摂動を適用し、4つのデータセット（IWPC、UCI Adult、および2つの他のデータセット）で実験が実施される。

実験結果

リサーチクエスチョン

• RQ1 Fisher情報損失は、実世界の推論攻撃成功率を反映する正確な例レベルのデータ漏洩れ測定法として機能するか？
• RQ2 相関のある訓練データとサブグループの脆弱性を扱う場合、FILは微分プライバシーと比べてどのように異なるか？
• RQ3 IRFILは、モデルの有用性を損なわせることなく、個人にわたるプライバシー漏洩れを効果的に均等化できるか？
• RQ4 FILは、異なるデータサブセットにおいて、実際の属性反転攻撃の正確さと強く相関しているか？
• RQ5 ノイズ分散と正則化の選択が、FILで測定されるモデル性能とプライバシーのトレードオフにどのように影響するか？

主な発見

• Fisher情報損失は、属性反転攻撃への感受性を正確に予測する。例ごとにFIL値が高いほど、攻撃成功率も高くなる。
• IRFILは、初期のFIL値の10分位にわたる脆弱性を効果的に均等化し、わずか10イテレーションで精度の差を低減する。
• ホワイトボックス攻撃の正確さはFIL値をよく追跡するが、ブラックボックス攻撃の正確さは平均二乗誤差（MSE）とより強く相関しており、FILが推論リスクに特化していることを示している。
• σ = 10⁻³およびλ = 10⁻²の条件下では、ホワイトボックスおよびブラックボックス攻撃が効果的に緩和され、MSEの低下も最小限に抑えられる。
• FILは、微分プライバシーとは異なり、データ相関に対して劣化しない。これは、相関のある現実的データセットにおいてより耐性があることを示している。
• IRFILは、ハイパーパrameterのチューニングなしに高速かつ安定して収束する。これは、プライバシーに配慮した訓練への実用的導入可能性を示唆している。