[論文レビュー] A Tunable Measure for Information Leakage

Jiachun Liao, Oliver Kosut+2 more|arXiv (Cornell University)|Jun 8, 2018

Adversarial Robustness in Machine Learning参考文献 11被引用数 6

ひとこと要約

本稿では、パラメータ α を用いて相互情報量（MI）と最大漏洩（MaxL）の間を補間することで、一般化されたチューナブルな情報漏洩測度である最大 α-漏洩を導入する。この測度は、元のデータの任意の関数を漏洩データから推定する際の攻撃者の利得を定量化し、α が攻撃者の信念の精錬戦略を制御する。また、入力分布の上でのアリトゥボ相互情報量の上界に等しいことが示され、データ処理不等式や合成不等式といった重要な性質を有することが立証されている。

ABSTRACT

A tunable measure for information leakage called extit{maximal $α$-leakage} is introduced. This measure quantifies the maximal gain of an adversary in refining a tilted version of its prior belief of any (potentially random) function of a dataset conditioning on a disclosed dataset. The choice of $α$ determines the specific adversarial action ranging from refining a belief for $α=1$ to guessing the best posterior for $α= \infty$, and for these extremal values this measure simplifies to mutual information (MI) and maximal leakage (MaxL), respectively. For all other $α$ this measure is shown to be the Arimoto channel capacity. Several properties of this measure are proven including: (i) quasi-convexity in the mapping between the original and disclosed datasets; (ii) data processing inequalities; and (iii) a composition property.

研究の動機と目的

• 情報漏洩を定量化するための、相互情報量と最大漏洩を統一するチューナブルなフレームワークを構築すること。
• MI のソフトな信念精錬と MaxL のハードな推測の間を補間するパラメータ化された損失関数を通じて、敵対的推論能力をモデル化すること。
• 最大 α-漏洩がアリトゥボおよびシブソン相互情報量の一般化であることを確立し、極端な敵対的行動の間を連続的に補間可能にする。
• 準凸性、データ処理不等式、合成に関する基本的性質を、提案された測度に対して証明すること。

提案手法

• 元のデータ X と漏洩データ Y 間のアリトゥボ相互情報量（A-MI）をパラメータ α でパラメータライズした α-漏洩を定義する。
• 最大 α-漏洩を、すべての入力分布 P_X における A-MI の上界として定義し、すべての可能なデータ分布にわたる最悪ケース漏洩を捉える。
• Rényi 情報量と Rényi エントロピーを用いて、一般化された情報理論的量の観点から測度を表現する。
• 最大 α-漏洩が、入力分布の上でのシブソン相互情報量（S-MI）の上界と等価であることを確立する。
• マークフ・チェーン X → Y₁ → Y₂ を分析し、結果の式をバウンディングすることで、最大 α-漏洩がデータ処理不等式を満たすことを証明する。
• 複数の漏洩データセット Y₁ および Y₂ に対する総漏洩が、個々の漏洩の和でバウンディングされることを示し、最適化を用いて等号成立条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 相互情報量と最大漏洩を、中間の敵対的行動を捉える連続的なフレームワークとして統一できるか？
• RQ2 提案された測度におけるパラメータ α は、信念精錬（MI）とハードな推測（MaxL）の間のトレードオフをどのように制御するか？
• RQ3 最大 α-漏洩は、アリトゥボやシブソン相互情報量といった既知の情報理論的量と等価であるか？ もしそうなら、どのような条件下で成立するか？
• RQ4 最大 α-漏洩は、データ処理不等式や合成不等式といった基本的な情報理論的性質を満たすか？
• RQ5 合成不等式がタイト（等号成立）となる正確な条件は何か？

主な発見

• 最大 α-漏洩は、すべての入力分布 P_X におけるアリトゥボ相互情報量（A-MI）の上界に等しく、直接的な運用的解釈を提供する。
• α = 1 の場合、最大 α-漏洩は相互情報量（MI）に簡約され、α = ∞ の場合、最大漏洩（MaxL）に簡約される。これにより、測度が両極端の間を連続的に補間するものであることが確認される。
• 測度はデータ処理不等式を満たす：X → Y₁ → Y₂ がマークフ・チェーンを形成する場合、X から Y₁,Y₂ への漏洩は、X から Y₁ と X から Y₂ への漏洩の和でバウンディングされる。
• 合成性質が成立し、X から複数の漏洩データセット Y₁ および Y₂ への総漏洩は、個々の漏洩の和でバウンディングされ、特定の後方分布の条件下で等号が成立する。
• 合成不等式における等号成立条件は、2番目の項を最大化する最適な y₁* の存在と、2番目のチャネルにおける最適入力分布と一致する後方分布 P_X̃(x|y₁) の存在によって特徴づけられる。
• α = 1 および α = ∞ の場合、標準的な相互情報量および MaxL の性質を別個に用いて合成不等式を検証し、α 全体にわたる一貫性を確認した。