[論文レビュー] Optimal Query Complexity of Secure Stochastic Convex Optimization

Wei Tang, Chien-Ju Ho+1 more|arXiv (Cornell University)|Apr 5, 2021

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿は、クエリ点の観測のみを許す敵対的攻撃者に対して学習者のプライバシーを保護する確率的凸最適化の安全な学習プロトコルを提案する。分割された定義域上で一様なランダムクエリを組み合わせ、効率的な最適化サブルーチンを用いることで、対数要因を除いて最適なクエリ複雑度を達成し、誤差の両タイプについて形式的なPACスタイルの保証のもとで、精度とプライバシーのバランスをとる。

ABSTRACT

We study the secure stochastic convex optimization problem. A learner aims to learn the optimal point of a convex function through sequentially querying a (stochastic) gradient oracle. In the meantime, there exists an adversary who aims to free-ride and infer the learning outcome of the learner from observing the learner's queries. The adversary observes only the points of the queries but not the feedback from the oracle. The goal of the learner is to optimize the accuracy, i.e., obtaining an accurate estimate of the optimal point, while securing her privacy, i.e., making it difficult for the adversary to infer the optimal point. We formally quantify this tradeoff between learner's accuracy and privacy and characterize the lower and upper bounds on the learner's query complexity as a function of desired levels of accuracy and privacy. For the analysis of lower bounds, we provide a general template based on information theoretical analysis and then tailor the template to several families of problems, including stochastic convex optimization and (noisy) binary search. We also present a generic secure learning protocol that achieves the matching upper bound up to logarithmic factors.

研究の動機と目的

• クエリ点の敵対的観測下での確率的凸最適化における学習者精度とプライバシーのトレードオフを形式化すること。
• PACスタイルの定義を用いて、望ましい精度とプライバシー水準を達成するためのクエリ複雑度を特徴付けること。
• 対数要因を除いてクエリ複雑度の上限が一致する安全な学習プロトコルを開発すること。
• 安全最適化の情報理論的下界を、ノイズありバイナリサーチュームを含むより広範な問題族へ一般化すること。
• クエリ複雑度がプライバシーパラメータ、特に$\delta^{\rm adv}$にどのように依存するかを分析し、それがプライバシーのための必須な複雑度プレミアムであることを示すこと。

提案手法

• 凸最適化問題のクエリ複雑度の下界を導出するための一般的な情報理論的テンプレートを構築する。
• 安全な学習プロトコルは、定義域$[0,1]$を$\lfloor 1/\delta^{\rm adv} \rfloor$個の長さ$\delta^{\rm adv}$の部分区間に分割し、区間間でのランダム化を保証する。
• 各フェーズにおいて、各部分区間ごとに1つのクエリを提出し、そのうち1つのクエリは非安全だが効率的な最適化サブルーチンによって更新される。
• プライバシーのための均一なランダムクエリと、精度のための適応的最適化を組み合わせることで、いかなる敵戦略に対しても耐性を持つ。
• 収束速度は、Tsitsiklisらにインspiredされた複製二分法戦略を用いて導出され、プライバシーに適合される。
• プロトコルは、高確率で$\tilde{\mathcal{O}}\big{(}(T\delta^{\rm adv})^{-\frac{\kappa}{2\kappa-2}}\big{)}$の関数誤差と$\tilde{\mathcal{O}}\big{(}(T\delta^{\rm adv})^{-\frac{1}{2\kappa-2}}\big{)}$の点誤差を達成することが証明されている。

実験結果

リサーチクエスチョン

• RQ1 安全な確率的凸最適化において、所定の精度とプライバシー水準を達成するために必要な最小クエリ数は何か？
• RQ2 クエリ複雑度は、プライバシーパラメータ$\delta^{\rm adv}$と精度$\epsilon$にどのように依存するか？
• RQ3 1つの情報理論的テンプレートを用いて、凸最適化とプライベートバイナリサーチュームの両方の下界を導出可能か？
• RQ4 対数要因を除いて最適なクエリ複雑度を達成する安全な学習プロトコルは存在するか？
• RQ5 安全プロトコルは、高い最適化精度を保ちながら、どのようにプライバシーを維持するか？

主な発見

• $\kappa$-一様凸関数に対しては、関数誤差のクエリ複雑度は$\Theta\left(1/(\delta^{\rm adv} \epsilon^{(2\kappa-2)/\kappa})\right)$であり、対数要因を除いて下界と上界が一致する。
• 点誤差に対しては、クエリ複雑度は$\Theta\left(1/(\delta^{\rm adv} \epsilon^{2\kappa-2})\right)$であり、再び対数要因を除いて両者を一致させる。
• 下界分析は、確率的凸最適化とプライベートバイナリサーチュームの両問題に適用可能な情報理論的テンプレートを用いて一般化された。
• 安全な学習プロトコルは、下界と同一の漸近的クエリ複雑度を達成しており、導出された境界のタイトネスを示している。
• プロトコルは、$\lfloor 1/\delta^{\rm adv} \rfloor$個の区間におけるランダム化により、$\epsilon^{\rm adv}$を超える推論を不可能にするため、いかなる敵戦略に対してもプライバシーを保つ。
• $\delta^{\rm adv} \to 1$のとき、古典的な凸最適化の複雑度境界が回復され、プライバシーコストが正確に$\Theta(1/\delta^{\rm adv})$であることが示された。