[論文レビュー] Minimax Filter: Learning to Preserve Privacy from Inference Attacks

Jihun Hamm|arXiv (Cornell University)|Oct 12, 2016

Privacy-Preserving Technologies in Data参考文献 18被引用数 26

ひとこと要約

本論文では、連続的かつ高次元なデータにおける利便性とプライバシーのトレードオフを最適化する学習ベースのメカニズム、ミニマックスフィルタを提案する。プライバシー保護をミニマックス最適化問題として定式化することで、推論攻撃の正解率を著しく低下（しばしば運任せ水準に近づける）と同時に、高いターゲットタスク性能を維持し、従来の微分プライバシーおよび構文的匿名化手法を上回る性能を発揮する。

ABSTRACT

Preserving privacy of continuous and/or high-dimensional data such as images, videos and audios, can be challenging with syntactic anonymization methods which are designed for discrete attributes. Differential privacy, which provides a more formal definition of privacy, has shown more success in sanitizing continuous data. However, both syntactic and differential privacy are susceptible to inference attacks, i.e., an adversary can accurately infer sensitive attributes from sanitized data. The paper proposes a novel filter-based mechanism which preserves privacy of continuous and high-dimensional attributes against inference attacks. Finding the optimal utility-privacy tradeoff is formulated as a min-diff-max optimization problem. The paper provides an ERM-like analysis of the generalization error and also a practical algorithm to perform the optimization. In addition, the paper proposes an extension that combines minimax filter and differentially-private noisy mechanism. Advantages of the method over purely noisy mechanisms is explained and demonstrated with examples. Experiments with several real-world tasks including facial expression classification, speech emotion classification, and activity classification from motion, show that the minimax filter can simultaneously achieve similar or better target task accuracy and lower inference accuracy, often significantly lower than previous methods.

研究の動機と目的

• 画像、動画、音声などの連続的かつ高次元なデータに対して、構文的匿名化および微分プライバシーの両方が推論攻撃に対して脆弱であるという問題に取り組む。
• 推論攻撃に対するプライバシー保護とデータ利便性のトレードオフを最適化する学習ベースのフィルタリング機構を開発する。
• プライバシー-利便性トレードオフをミニマックス最適化問題として形式化し、敵対的推論に対して耐性を確保する。
• ミニマックスフィルタリングが、ノイズに大きく依存せずに運任せ水準に近い推論正解率を達成できることを示す。
• 事前処理および事後処理を用いてミニマックスフィルタリングを微分プライバシーと組み合わせ、全体的なプライバシー保証を強化する。

提案手法

• 敵の推論モデルの期待リスクとターゲットタスクモデルの期待リスクの差を最小化することで、プライバシー-利便性トレードオフをミニマックス最適化問題として定式化する。
• 元の特徴量に非可逆的かつ学習可能な変換を適用するフィルタベースの変換を用い、次元削減と機微な情報の除去を実現する。
• ダンスキンの定理を用いて、経験的リスク最小化（ERM）を用いた実用的な最適化アルゴリズムを導出する。
• ミニマックスフィルタと微分プライバシーを組み合わせたノイズありミニマックスフィルタを提案し、形式的プライバシー保証と推論攻撃への耐性の両方を実現する。
• 2段階のアプローチ（事前処理：ノイズ注入前、事後処理：ノイズ注入後）を採用し、両者を実証的に評価する。
• 顔の表情、音声感情、行動分類タスクの訓練および評価に、実世界のデータセット（GENKI、ENTERFACE、HAR）を用いる。

実験結果

リサーチクエスチョン

• RQ1 機微な属性の推論正解率の最大値を最小化しつつ、正当なタスクの利便性を維持できるフィルタを学習可能か？
• RQ2 ミニマックスフィルタは、従来の微分プライバシーおよび構文的匿名化手法と比較して、高次元データにおける推論攻撃に対してどれほど効果的に耐性を示すか？
• RQ3 ターゲット機械学習タスクの性能を著しく低下させることなく、ミニマックスフィルタはどれほど推論攻撃正解率を低減できるか？
• RQ4 ミニマックスフィルタリングを微分プライバシーと組み合わせることで、単独で用いる場合よりも優れたプライバシー-利便性トレードオフが達成できるか？
• RQ5 ノイズありミニマックスフィルタの事前処理および事後処理のバリエーションは、プライバシーと利便性のバランスにどのように影響するか？

主な発見

• ミニマックスフィルタは、ノイズレベルにかかわらず、すべてのデータセットで私的タスクの推論正解率を運任せ水準（0.5、0.03、0.07）にまで低下させ、推論攻撃に対する強い耐性を示している。
• 一方、PCAベースのフィルタ（ミニマックスでない）では、ノイズを適用しない場合、推論攻撃正解率が0.8、0.5、0.3にまで上昇するが、攻撃成功率を低下させるには高いノイズレベル（ε⁻¹ ≥ 0.1）が必要であり、これは利便性に悪影響を及げる。
• ミニマックス事前/事後フィルタは、GENKIおよびHARで0.9以上の高いターゲットタスク正解率を維持しており、強力なプライバシー保護にもかかわらず、利便性の損失は最小限に抑えられている。
• ノイズありミニマックスフィルタは、純粋な微分プライバシー機構を上回り、両者の利点を組み合わせた強力な推論耐性と形式的プライバシー保証を実現している。
• 事前処理の方が、特にGENKIおよびHARにおいて、利便性の観点で事後処理を常に上回っており、ノイズ注入前にフィルタリングを行う方がより効果的であることが示された。
• 実証結果から、公開可能なマルチサブジェクトデータセットが、被験者特定攻撃に対して極めて脆弱であることが確認されたが、ミニマックスフィルタはこのリスクを効果的に軽減している。