[論文レビュー] An Extension of Fano's Inequality for Characterizing Model Susceptibility to Membership Inference Attacks

Sumit Kumar Jha, Susmit Jha+5 more|arXiv (Cornell University)|Sep 17, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿は、深層ニューラルネットワーク（DNN）に対するメンバーシップインファレンス攻撃（MIA）の成功確率を、モデルの入力とそのアクティベーション／出力の間の相互情報量を用いて、ファーノの不等式を拡張することで評価する。相互情報量がMIAへの感受性を強く予測することを示しており、CIFAR-10では0.966、SVHNでは0.996、GTSRBでは0.955の実証的相関を示した。これにより、モデルのプライバシー評価に理論的根拠を持つメトリクスが可能になる。

ABSTRACT

Deep neural networks have been shown to be vulnerable to membership inference attacks wherein the attacker aims to detect whether specific input data were used to train the model. These attacks can potentially leak private or proprietary data. We present a new extension of Fano's inequality and employ it to theoretically establish that the probability of success for a membership inference attack on a deep neural network can be bounded using the mutual information between its inputs and its activations. This enables the use of mutual information to measure the susceptibility of a DNN model to membership inference attacks. In our empirical evaluation, we show that the correlation between the mutual information and the susceptibility of the DNN model to membership inference attacks is 0.966, 0.996, and 0.955 for CIFAR-10, SVHN and GTSRB models, respectively.

研究の動機と目的

• プライベートまたは特許情報に学習されたDNNに対して増大するプライバシーの脅威に対処すること。
• DNNのMIA感受性を定量化する理論的根拠に基づいた情報理論的メトリクスを構築すること。
• モデルの入力と出力／アクティベーションの間の相互情報量が、MIA成功確率の信頼できる代理指標として機能できることを確立すること。
• モデル開発者や監査者にとって実用的で解釈可能なプライバシー評価メトリクスを提供し、モデルの耐性を向上させること。
• 相互情報量に基づく正則化を用いて、プライバシーに配慮したDNNの設計を支援すること。

提案手法

• 入力とモデルの出力／アクティベーションの間の相互情報量を用いて、メンバーシップインファレンス攻撃の成功確率を束縛する、ファーノの不等式の新規拡張を提案する。
• 条件付きエントロピーと相互情報量に依存する攻撃成功確率の下界を導出する。相互情報量が主な設計パrameterとして機能する。
• モデルの入力とトップレイヤーのアクティベーションまたは勾配の間の相互情報量を、MIA感受性の測定可能な指標として採用する。
• 最近の微分可能な相互情報推定技術の進展を活用し、実用的な状況でこの指標を計算するためにニューラルネットワークベースの相互情報推定器を用いる。
• ブラックボックスおよびホワイトボックスのMIA設定を用いて、複数のベンチマークで相互情報量と実際の攻撃成功確率の相関を評価する。
• CIFAR-10、SVHN、GTSRBのデータセットで実験的に得られたMIA成功確率と照合することで、理論的束縛の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ファーノの不等式は、深層ニューラルネットワークにおけるメンバーシップインファレンス攻撃の成功確率に対する理論的束縛を提供するために拡張可能か？
• RQ2 モデルの入力とそのアクティベーションまたは出力の間の相互情報量は、実際のMIA成功確率とどの程度相関しているか？
• RQ3 相互情報量は、DNNのMIA感受性を評価する信頼性があり実用的なメトリクスとして機能可能か？
• RQ4 提案された理論的束縛は、多様なデータセットにおける実世界の深層学習モデルにおいてどの程度タイトか？
• RQ5 相互情報量は、メンバーシップインファレンス攻撃に対して本質的に耐性が高いDNNを学習する正則化目的として使用可能か？

主な発見

• 提案されたファーノの不等式の拡張により、入力とモデルの出力／アクティベーションの間の相互情報量に基づいて、メンバーシップインファレンス攻撃の成功確率に対する理論的下界が得られた。
• 入力とトップレイヤーの出力／アクティベーションの間の相互情報量は、実際のMIA成功確率と強く相関しており、CIFAR-10では相関係数0.966を示した。
• SVHNデータセットでは、相互情報量とMIA成功確率の間で0.996の相関が観察され、ほぼ完全な予測能力を示した。
• GTSRBデータセットでは、相互情報量とMIA感受性の間で0.955の相関が確認され、多様なデータ分布にわたる堅牢性が裏付けられた。
• 訓練データのモデル出力に対する条件付きエントロピーが高くなる領域では、理論的束縛が最も情報量が多くなる。これは漏洩が限定的であることを示唆する。
• 結果から、相互情報量がDNNのプライバシー評価および向上に実用的かつ効果的なメトリクスとして機能できることを示唆しており、より耐性のあるモデルの開発を可能にする。