[論文レビュー] Query Complexity of Bayesian Private Learning

Kuang Xu|arXiv (Cornell University)|Nov 15, 2019

Machine Learning and Algorithms被引用数 13

ひとこと要約

この論文は、ベイジアンプライベートラーニングにおけるクエリ複雑度のタイトな下界を確立し、敵対的攻撃者の推定誤差を確率 $1/L$ 以内に抑えるために $\varepsilon$-精度を達成するには、学習者が $\Theta(L\log(1/\varepsilon))$ のクエリを必要とする。この結果は、乗法的プライバシー費用のトレードオフを示しており、ファーノの不等式と比例的サンプリングに基づく敵対的推定器を用いて証明されている。

ABSTRACT

We study the query complexity of Bayesian Private Learning: a learner wishes to locate a random target within an interval by submitting queries, in the presence of an adversary who observes all of her queries but not the responses. How many queries are necessary and sufficient in order for the learner to accurately estimate the target, while simultaneously concealing the target from the adversary? Our main result is a query complexity lower bound that is tight up to the first order. We show that if the learner wants to estimate the target within an error of $\varepsilon$, while ensuring that no adversary estimator can achieve a constant additive error with probability greater than $1/L$, then the query complexity is on the order of $L\log(1/\varepsilon)$, as $\varepsilon o 0$. Our result demonstrates that increased privacy, as captured by $L$, comes at the expense of a {multiplicative} increase in query complexity. Our proof method builds on Fano's inequality and a family of proportional-sampling estimators. As an illustration of the method's wider applicability, we generalize the complexity lower bound to settings involving high-dimensional linear query learning and partial adversary observation.

研究の動機と目的

• 敵対的観測下でのアクティブラーニングにおけるクエリ効率とプライバシーのトレードオフを定量化すること。
• 学習者がターゲットを $\varepsilon$ の誤差内で推定しつつ、敵対的攻撃者にそれを推定させないために必要な最小クエリ数を特定すること。
• プライバシーのコストを $L$ として定式化し、クエリ複雑度の増加という観点から分析すること。
• タイトな下界を確立するために、比例的サンプリングに基づく敵対的推定器の族を開発・分析すること。
• 下界を高次元線形クエリおよび部分的敵対的観測設定へと拡張すること。

提案手法

• 区間 $[0,1)$ 内で一様分布するターゲット、ノイズのないバイナリ応答、および適応的クエリを使用する学習者を想定したベイジアンプライベートラーニングモデルを形式化する。
• クエリ複雑度の下界を導出するために、情報理論的根拠としてファーノの不等式を核心的ツールとして用いる。
• 敵対的攻撃者がクエリ・レスポンスパターンにおける行動情報の類似性を活用するための、比例的サンプリングに基づく推定器の族を導入する。
• これらの推定器の下で敵対的攻撃者の推定誤差を分析し、成功確率が $1/L$ で抑えられることを示すことで、下界を構築する。
• 比例的サンプリングフレームワークを適応させることで、高次元線形クエリおよび部分的敵対的観測設定への証明を拡張する。
• ツィチクリスら（2018年）の既存の上界と比較することで、下界のタイトさを確立する。

実験結果

リサーチクエスチョン

• RQ1 学習者がターゲットを $\varepsilon$ の誤差内で推定しつつ、敵対的攻撃者が $\delta$ 以内に推定できる確率が $1/L$ を超えないようにするには、最小でどの程度のクエリが必要か？
• RQ2 ベイジアンプライベートラーニングにおけるプライバシーパラメータ $L$ は、クエリ複雑度にどのように影響するか？
• RQ3 比例的サンプリングに基づく敵対的推定器の族は、いかなる学習者戦略に対しても最適性能を達成できるか？
• RQ4 高次元または部分的観測設定下でも、クエリ複雑度における $L$ への乗法的依存性は維持されるか？
• RQ5 ノイズのある応答はプライバシー費用のトレードオフにどのように影響し、下界はノイズありクエリモデルへと拡張可能か？

主な発見

• $\varepsilon \to 0$ のとき、クエリ複雑度は $\Omega(L\log(1/\varepsilon))$ で下界を持つが、これは一次のオーダーでタイトである。
• この下界はツィチクリスら（2018年）の上界と一致しており、クエリ複雑度の正しい漸近的スケーリングが $L\log(1/\varepsilon)$ であることを確認している。
• プライバシーコストは乗法的である：$L$ を増加させること（つまり敵対的攻撃者の成功確率を低下させること）は、クエリ複雑度を $L$ 倍に増加させる。
• 比例的サンプリング推定器は、学習者が $L\log(1/\varepsilon)$ クエリ未満を使用する場合に、実際に効果的であることが証明されている。
• 高次元線形クエリモデルおよび部分的敵対的観測設定へも下界は拡張可能であるが、行動情報の類似性が弱いため、下界はもはやタイトではない。
• 分析から、より洗練された敵対的推定器（例：部分立方体への感受性に対する非線形重み付け）が、複雑な設定における上界と下界の差を埋める可能性があると示唆されている。