[論文レビュー] An Equivalence Between Private Classification and Online Prediction

Mark Bun, Roi Livni+1 more|arXiv (Cornell University)|Mar 1, 2020

Advanced Bandit Algorithms Research参考文献 43被引用数 4

ひとこと要約

この論文は、任意の有限のリトルスタイン次元を持つ概念クラスが近似的に微分プライベートなアルゴリズムによって学習可能であることを示すことで、微分プライベートな学習とオンライン学習の間の根本的な同等性を確立する。主な貢献は、『グローバル安定性』— 全入力データセットの再サンプリングに対して安定性を保証する、新しい安定性の概念の導入である。この概念により、オンライン学習アルゴリズムからプライベートな学習アルゴリズムを構築可能となり、アロンら（2019）およびニールら（2019）が提起した未解決問題が解決される。

ABSTRACT

We prove that every concept class with finite Littlestone dimension can be learned by an (approximate) differentially-private algorithm. This answers an open question of Alon et al. (STOC 2019) who proved the converse statement (this question was also asked by Neel et al.~(FOCS 2019)). Together these two results yield an equivalence between online learnability and private PAC learnability. We introduce a new notion of algorithmic stability called "global stability" which is essential to our proof and may be of independent interest. We also discuss an application of our results to boosting the privacy and accuracy parameters of differentially-private learners.

研究の動機と目的

• 有限のリトルスタイン次元を持つすべての概念クラスが、プライベートPAC学習可能であるかどうかという未解決問題を解消すること。
• オンライン学習可能性とプライベートPAC学習可能性の間の正式な同等性を確立すること。
• オンライン学習とプライベート学習を結ぶための主要な技術的ツールとしての『グローバル安定性』の導入と形式化すること。
• オンライン学習アルゴリズムを微分プライベートな学習アルゴリズムに変換する構成的技法を提供すること。
• 微分プライバシーの文脈における、プライベートブースティングおよびオラクル効率的学習への影響を検討すること。

提案手法

• 全入力データセットの再サンプリングに対して安定性を保証するアルゴリズム的安定性の一種として『グローバル安定性』を導入する。
• 安定性と微分プライバシーの関係を活用し、グローバルに安定なアルゴリズムが出力の摂動によって微分プライベートにできると示す。
• データ分布下で高い確率で妥当な仮説 f を出力し、誤差が小さい確率的アルゴリズム G に基づくプライベートな学習アルゴリズムの構築を行う。
• 定理10を適用して、リトルスタイン次元の二重指数関数的増加に比例するサンプル複雑度を有するプライベートな学習アルゴリズムの存在を保証する。
• プライベートな合成定理（定理17）を用いて、最終的なサンプル複雑度の上限をプライバシーのパラメータ ε, δ、および精度 α の関数として導出する。
• 最終的なサンプル複雑度を O(2^{~O(2^d)} + log(1/βδ))/(αε) として導出する。ここで d はリトルスタイン次元である。

実験結果

リサーチクエスチョン

• RQ1 有限のリトルスタイン次元を持つすべての概念クラスは、プライベートPAC学習可能か？
• RQ2 オンライン学習可能性とプライベートPAC学習可能性の間には正式な同等性があるか？
• RQ3 グローバル安定性は、オンライン学習とプライベート学習を結ぶ統一的枠組みとして機能できるか？
• RQ4 有限のリトルスタイン次元を持つクラスのプライベート学習の、最もタイトなサンプル複雑度は何か？
• RQ5 プライベート学習フレームワークは、0-1損失を超える一般の損失関数へ拡張可能か？

主な発見

• 有限のリトルスタイン次元を持つすべての概念クラスは、プライベートPAC学習可能であり、アロンら（2019）およびニールら（2019）が提起した未解決問題が解決された。
• リトルスタイン次元 d を持つクラスのプライベート学習のサンプル複雑度は、O(2^{~O(2^d)} / (αε)) で有界である。ここで α は精度パラメータである。
• この論文は、オンライン学習可能性とプライベートPAC学習可能性の間の定性的同等性を確立し、有限のリトルスタイン次元を共通の特徴として示した。
• 『グローバル安定性』の導入により、学習理論における安定性分析のための、新たな独立したツールが得られた可能性がある。
• プライベートな学習アルゴリズムの構築により、定数の成功確率で、データ分布下での誤差が α/2 未満となることが保証された。
• 結果から、プライベートブースティングはプライベート版のブースティングフレームワークを用いて実現可能である可能性が示唆されるが、効率的なアルゴリズム的実装は未解決のままである。