[論文レビュー] Closure Properties for Private Classification and Online Prediction

Noga Alon, Amos Beimel+2 more|arXiv (Cornell University)|Mar 10, 2020

Machine Learning and Algorithms参考文献 39被引用数 4

ひとこと要約

本稿では、任意のルール $G$ を用いて基本クラス $\mathcal{H}$ の関数を集約して得られる合成仮説クラス $\mathcal{H}'$ のリトルスタイン次元が、元のクラス $\mathcal{H}$ のリトルスタイン次元の関数として有界であることを示すことによって、微分プライベートなPAC学習およびオンライン学習の閉包性を確立する。さらに、元のクラス $\mathcal{H}$ の微分プライベートな学習者から $\mathcal{H}'$ の微分プライベートな学習者に変換するアルゴリズムを提示し、元のクラスの複雑さに依存する部分を改善した近似的最適なサンプル複雑度を達成する。

ABSTRACT

Let~$\cH$ be a class of boolean functions and consider a {\it composed class} $\cH'$ that is derived from~$\cH$ using some arbitrary aggregation rule (for example, $\cH'$ may be the class of all 3-wise majority-votes of functions in $\cH$). We upper bound the Littlestone dimension of~$\cH'$ in terms of that of~$\cH$. As a corollary, we derive closure properties for online learning and private PAC learning. The derived bounds on the Littlestone dimension exhibit an undesirable exponential dependence. For private learning, we prove close to optimal bounds that circumvents this suboptimal dependency. The improved bounds on the sample complexity of private learning are derived algorithmically via transforming a private learner for the original class $\cH$ to a private learner for the composed class~$\cH'$. Using the same ideas we show that any ({\em proper or improper}) private algorithm that learns a class of functions $\cH$ in the realizable case (i.e., when the examples are labeled by some function in the class) can be transformed to a private algorithm that learns the class $\cH$ in the agnostic case.

研究の動機と目的

• 合成仮説クラス $\mathcal{H}' = \{G(h_1,\dots,h_k) \mid h_i \in \mathcal{H}\}$ のリトルスタイン次元が、基本クラス $\mathcal{H}$ のリトルスタイン次元の関数として有界に抑えられるかを調査すること。
• 微分プライベートなPAC学習における閉包性を確立し、クラス $\mathcal{H}$ がプライベートに学習可能であれば、$\mathcal{H}$ からの $k$ 個の関数の $G$-集約である任意のクラスについても同様にプライベートに学習可能であることを示すこと。
• 元のクラス $\mathcal{H}$ のプライベート学習者から $\mathcal{H}'$ のプライベート学習者に変換する効率的な微分プライベートなアルゴリズムを設計し、近似的最適なサンプル複雑度を達成すること。
• オンライン学習とプライベート学習の間のギャップを、特にリトルスタイン次元という共通の組合せ的特徴付けを活用することで埋めること。

提案手法

• 各成分 $h_i$ を $\mathcal{H}$ からプライベートな経験的学習者を用いて再帰的に学習することで、$\mathcal{H}'$ のためのプライベートな学習者を構築する変換アルゴリズム $\mathcal{A}_{\rm ClosureLearn}$ を提案する。
• 誤差の高確率での有界性を保証するために、和集合の不等式と集中不等式を用いる。
• 各個別のクラスのVC次元の和を用いて、$G(\mathcal{H}_1,\dots,\mathcal{H}_k)$ のVC次元を制限するために、サウアー＝シャレル＝ペルレスの補題を適用する。
• 各ステップでパラメータ $\left(\frac{\alpha}{k}, \frac{\beta}{k}\right)$ を用いたプライベートな経験的学習を実行することで、微分プライバシーと正確性を両立させる。
• サブサンプリングとプライベートブースティング技術を用いて $\varepsilon$-微分プライバシーを達成し、正確性を向上させる。これにより、サンプル複雑度はそれぞれ $O(1/\varepsilon)$ および $O(1/\alpha)$ の要因で増加する。
• リトルスタイン次元とオンライン学習およびプライベート学習との関係を活用して、リグレットとサンプル複雑度の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 合成クラス $\mathcal{H}' = \{G(h_1,\dots,h_k) \mid h_i \in \mathcal{H}\}$ のリトルスタイン次元が、基本クラス $\mathcal{H}$ のリトルスタイン次元の関数として有界に抑えられるか？
• RQ2 クラス $\mathcal{H}$ にプライベートな学習者が存在する場合、そのクラスの $\mathcal{H}'$ に対しても近似的最適なサンプル複雑度を達成するプライベートな学習者が存在するか？
• RQ3 実現可能ケースにおける $\mathcal{H}$ のプライベート学習者を、アグノスティックケースにおける $\mathcal{H}$ のプライベート学習者に変換できるか？
• RQ4 $\mathcal{H}$ を学習するサンプル複雑度を用いて、$\mathcal{H}'$ をプライベートに学習するサンプル複雑度はどのように表されるか？

主な発見

• 関数 $\mathcal{H}$ の $k$ 重集約からなるクラス $\mathcal{H}'$ のリトルスタイン次元は、$\mathcal{H}$ のリトルスタイン次元の関数として有界であり、オンライン学習における閉包性を解決する。
• 提案されたアルゴリズム $\mathcal{A}_{\rm ClosureLearn}$ は、確率 $1 - O(\beta + \delta \sum_{i=1}^k |S_i|)$ で $O(\alpha)$ の誤差を達成し、正確性と微分プライバシーの両方を保証する。
• アルゴリズム $\mathcal{A}_{\rm ClosureLearn}$ のサンプル複雑度は、$\tilde{O}\left(\sum_{i=1}^k m_i\left(\frac{\alpha}{k}, \frac{\beta}{k}, 1, \delta\right)\right) \cdot \mathrm{poly}(k, 1/\alpha, \log(1/\beta))$ であり、従来の境界と比較して $k$ および $\alpha$ に依存する部分が改善されている。
• サブサンプリングによりサンプル複雑度を $O(1/\varepsilon)$ 倍することで、$\varepsilon$-微分プライバシーを達成でき、任意の所望の正確性と信頼性にブースト可能である。
• 標準的なリトルスタイン次元の境界で見られる $k$ に指数関数的に依存する問題を、誤差伝搬を注意深く制御した再帰的でプライベートな学習アプローチにより回避する。
• 結果として、プライベート学習は集約に関して閉じていることが示された：$\mathcal{H}$ がプライベートに学習可能であれば、$\mathcal{H}'$ に対しても同様にプライベートに学習可能であり、実現可能ケースから変換することで、アグノスティック設定でも成立する。