[論文レビュー] Optimal query complexity for private sequential learning against eavesdropping

Jiaming Xu, Kuang Xu+1 more|arXiv (Cornell University)|Sep 21, 2019

Privacy-Preserving Technologies in Data参考文献 50被引用数 12

ひとこと要約

この論文は、攻撃者がδ/2の誤差内で値を推定できないようにするプライベートな逐次学習における最適クエリ複雑度のタイトな上限と下限を確立する。著者らは、純粋な学習と遮断の段階に分ける独自のクエリ戦略を導入し、すべてのパrameter設定でほぼ最適な複雑度を達成する。さらに、ノイズのある応答と高次元への拡張も含む。

ABSTRACT

We study the query complexity of a learner-private sequential learning problem, motivated by the privacy and security concerns due to eavesdropping that arise in practical applications such as pricing and Federated Learning. A learner tries to estimate an unknown scalar value, by sequentially querying an external database and receiving binary responses; meanwhile, a third-party adversary observes the learner's queries but not the responses. The learner's goal is to design a querying strategy with the minimum number of queries (optimal query complexity) so that she can accurately estimate the true value, while the eavesdropping adversary even with the complete knowledge of her querying strategy cannot. We develop new querying strategies and analytical techniques and use them to prove tight upper and lower bounds on the optimal query complexity. The bounds almost match across the entire parameter range, substantially improving upon existing results. We thus obtain a complete picture of the optimal query complexity as a function of the estimation accuracy and the desired levels of privacy. We also extend the results to sequential learning models in higher dimensions, and where the binary responses are noisy. Our analysis leverages a crucial insight into the nature of private learning problem, which suggests that the query trajectory of an optimal learner can be divided into distinct phases that focus on pure learning versus learning and obfuscation, respectively.

研究の動機と目的

• クエリが敵に盗聴される可能性があるインタラクティブな学習システムにおける学習者プライバシー保護のギャップを埋める。
• 推定精度εとプライバシー水準Lを満たす最小限のクエリで未知のスカラーを推定する必要があるプライベートな逐次学習モデルを定式化する。
• 推定精度εとプライバシー水準Lの関数として、最適クエリ複雑度の完全な特徴付けを達成する。
• 高次元設定とノイズのあるバイナリ応答への分析を拡張し、フェデレーテッドラーニングなどの実世界の制約を反映する。
• ほぼ一致する上限と下限を証明するための新しい解析的手法を開発し、根本的なプライバシーと複雑度のトレードオフを解消する。

提案手法

• 学習プロセスを明確に分離するクエリ戦略を設計する：一つは純粋な学習に集中し、もう一つはプライバシー保護のための遮断に集中する。
• 対称性とベイズ的推論を用いて、二つの対称的仮説 X*=x と X*=2mj−x の下での敵の推定誤差の下限を導出する。
• バタチャリヤ係数を用いて、二つの仮説間のテストの最小誤差確率を評価し、応答の尤度の乖離を活用する。
• ジェンセンの不等式を用いて、臨界区間における期待クエリ数と推定誤差確率の対数的減衰を関連付ける。
• プライバシーと精度の制約を条件として、サイズδ/2の部分区間における期待クエリ数を分析し、再帰的境界を導出する。
• ノイズのある応答への拡張として、パラメータpのベルヌーイノイズモデルを組み込み、境界がc1(p)に比例してスケーリングされることを示す。

実験結果

リサーチクエスチョン

• RQ1 精度εとプライバシー水準Lが与えられた場合、ベイズ的かつ決定論的な設定における学習者プライベートな逐次学習の最適クエリ複雑度は何か？
• RQ2 敵が確率1−1/L未満で失敗するように制約された場合、クエリ複雑度はεおよびδに関してどのようにスケーリングされるか？
• RQ3 クエリ戦略は学習段階と遮断段階に分解可能であり、この分解が最適な複雑度をもたらすか？
• RQ4 ノイズのある応答が存在する場合、クエリ複雑度にどのような影響を与えるか？また、ノイズパラメータpに依存するタイトな境界を確立できるか？
• RQ5 バイナリフィードバックを伴う逐次学習において、クエリ効率とプライバシーの根本的トレードオフは何か？

主な発見

• 論文は、パrameter範囲全体にわたり、ほぼ一致する上限と下限を確立し、定数要因の範囲内で最適複雑度を解消する。
• ノイズのない場合、δ ≥ 4εのとき、最適クエリ複雑度はΘ(L log(1/ε))であり、精度に対数的依存とプライバシー水準Lに線形スケーリングが見られる。
• ノイズのある応答モデルでは、境界はノイズパラメータpにのみ依存する乗法的定数の範囲で一致し、非プライベートな逐次探索の結果と類似する。
• 解析により、最適戦略は自然に二段階に分解され、正確な学習段階と遮断段階に分かれることが明らかになり、これはプライバシーを達成するために不可欠である。
• 下限の導出では、対称性の議論とバタチャリヤ係数を用い、任意の敵の誤差確率がρ²/4より大きいことを示す。ここでρは対称区間内のクエリ重複に依存する。
• 最終的な境界は、n ≥ (L / (2c₁(p))) log(M/8) であり、Mは可能な値の数を表す。この結果は、プライバシーがクエリ効率に根本的なコストをもたらすことを確認する。