[論文レビュー] Limits of Private Learning with Access to Public Data

Noga Alon, Raef Bassily+1 more|arXiv (Cornell University)|Oct 25, 2019

Privacy-Preserving Technologies in Data被引用数 17

ひとこと要約

この論文は、公開で利用可能なラベルなしのデータにアクセス可能な場合のプライベートな学習における根本的な限界を確立する。任意のVC次元$d$の仮説クラスは、$O(d/\alpha)$の公開例と$O(d/\alpha^2)$のプライベートラベル付き例を用いてアグノスティックに学習可能であり、標準的なプライベート学習と比較して、公開例の必要数が2乗の改善効果を示す。これは、公開データがラベルなしであっても成立する。この結果は、無限大のリトルスタイン次元を持つクラスに対しては、下界とほぼ一致する。

ABSTRACT

We consider learning problems where the training set consists of two types of examples: private and public. The goal is to design a learning algorithm that satisfies differential privacy only with respect to the private examples. This setting interpolates between private learning (where all examples are private) and classical learning (where all examples are public). We study the limits of learning in this setting in terms of private and public sample complexities. We show that any hypothesis class of VC-dimension $d$ can be agnostically learned up to an excess error of $α$ using only (roughly) $d/α$ public examples and $d/α^2$ private labeled examples. This result holds even when the public examples are unlabeled. This gives a quadratic improvement over the standard $d/α^2$ upper bound on the public sample complexity (where private examples can be ignored altogether if the public examples are labeled). Furthermore, we give a nearly matching lower bound, which we prove via a generic reduction from this setting to the one of private learning without public data.

研究の動機と目的

• 公開データへのアクセスを前提とした微分プライバシー学習における、プライベートと公開のサンプル複雑度のトレードオフを理解すること。
• アグノスティック学習において、非自明なプライバシーと精度のトレードオフを達成するために必要な最小の公開例の数を特定すること。
• 純粋および近似半プライベート学習の両方において、公開サンプル複雑度のほぼタイトな上界と下界を確立すること。
• 公開データが効率的なプライベート学習を可能にする条件を、VC次元やリトルスタイン次元のような組合せ的パラメータと関連付けて特定すること。

提案手法

• 半プライベート学習から標準的なプライベート学習（公開データなし）への新しい還元を提案し、下界の転送を可能にする。
• 公開データを真のデータ分布の代理として扱うことで、半プライベート学習者を用いてプライベート学習者をシミュレートする技術を導入する。
• ラベルが確率$1-p$で一様にランダムになる混合分布の構成を用い、真の分布における一般化誤差をノイズのかかった混合分布における誤差と関連付ける。
• 濃度不等式と確率的議論を用いて、公開データ有無の両方における誤差確率の差を評価する。
• 分布間距離（全変動距離）の概念を用い、真のデータ分布に近い距離の公開データが効果的な学習を可能にすることを示す。
• 近似半プライベート学習の下界を導出するために、キーパラメータとしてリトルスタイン次元を活用する。

実験結果

リサーチクエスチョン

• RQ1 公開データは、微分プライバシー学習におけるプライベートサンプル複雑度を顕著に低減できるか？
• RQ2 任意のVCクラスにおいて、効率的なプライベート学習を達成するために必要な最小の公開例（ラベルありまたはラベルなし）の数は何か？
• RQ3 リトルスタイン次元は、近似半プライベート学習における公開サンプル複雑度の下界にどのように影響するか？
• RQ4 公開データの存在が、しきい値のような単純な概念クラスにおけるプライベート学習の既知の不可能性結果を回避できるか？
• RQ5 仮説クラスの組合せ的性質に基づいて、純粋半プライベート学習において二分法的性質が成立するか？

主な発見

• VC次元$d$の任意の仮説クラスは、$O(d/\alpha)$の公開例と$O(d/\alpha^2)$のプライベートラベル付き例を用いて、アグノスティックに学習可能であり、公開例がラベルなしであっても成立する。
• この公開サンプル複雑度は、すべてのデータがプライベートである場合の標準的な$O(d/\alpha^2)$の境界と比較して、2乗の改善を示しており、顕著な効率向上を意味する。
• 近似半プライベート学習において、$\Omega(1/\alpha)$の公開例が必要であるというほぼ一致する下界が確立された。これは、公開データがラベル付きであっても成立する。
• この下界は、1次元のしきい値など、無限大のリトルスタイン次元を持つクラスに対しても成立し、この場合における上界のタイトさを示している。
• 純粋半プライベート学習において、二分法的性質が確立された：仮説クラスは、公開データなしで純粋プライベート学習者が学習可能な場合に限り、純粋に半プライベートに学習可能である。
• 還元技術により、任意の半プライベート学習者がプライベート学習者を構築可能であり、標準的なプライベート学習設定からの下界の転送が可能であることが示された。