[論文レビュー] Adaptive Learning with Robust Generalization Guarantees

Rachel Cummings, Katrina Ligett+3 more|arXiv (Cornell University)|Feb 24, 2016

Privacy-Preserving Technologies in Data参考文献 5被引用数 4

ひとこと要約

この論文は、後処理や適応的合成に対して耐性のある、段階的に強い一般化の概念—頑健一般化、微分プライバシー、完全一般化—を導入する。PAC学習可能な概念クラスは、近似的に最適な標本複雑性で頑健一般化の下で学習可能であり、頑健一般化は微分プライバシーよりは弱いが完全一般化よりは強いことを示す。応用としては適応的学習とプライバシー保護型機械学習がある。

ABSTRACT

The traditional notion of generalization---i.e., learning a hypothesis whose empirical error is close to its true error---is surprisingly brittle. As has recently been noted in [DFH+15b], even if several algorithms have this guarantee in isolation, the guarantee need not hold if the algorithms are composed adaptively. In this paper, we study three notions of generalization---increasing in strength---that are robust to postprocessing and amenable to adaptive composition, and examine the relationships between them. We call the weakest such notion Robust Generalization. A second, intermediate, notion is the stability guarantee known as differential privacy. The strongest guarantee we consider we call Perfect Generalization. We prove that every hypothesis class that is PAC learnable is also PAC learnable in a robustly generalizing fashion, with almost the same sample complexity. It was previously known that differentially private algorithms satisfy robust generalization. In this paper, we show that robust generalization is a strictly weaker concept, and that there is a learning task that can be carried out subject to robust generalization guarantees, yet cannot be carried out subject to differential privacy. We also show that perfect generalization is a strictly stronger guarantee than differential privacy, but that, nevertheless, many learning tasks can be carried out subject to the guarantees of perfect generalization.

研究の動機と目的

• 従来の一般化が適応的および後処理付き学習設定で脆いという問題に対処すること。
• 頑健一般化、微分プライバシー、完全一般化という、段階的に強い一般化保証を形式化し、比較すること。
• 頑健一般化が無限ドメインに対しても近似的に最適な標本複雑性でPAC学習を可能にすることを示すこと。
• 頑健一般化が微分プライバシーよりは弱く、完全一般化よりは強いことを示すこと。
• 完全一般化が適応的合成をサポートできることを確立し、完全一般化可能メカニズムの合成によって達成できることを示すこと。

提案手法

• 後処理によって実効誤差と真の誤差が著しく異なる仮説を生成できないという保証として「頑健一般化」を導入する。
• 任意の後処理された仮説が一般化を維持することを保証する、微分プライバシーを上回る強い保証として「完全一般化」を定義する。
• ラプラスメカニズムを、微分プライバシーを満たすが頑健一般化も満たす代表的な例として用いる。
• グループプライバシーを用いて微分プライバシーを完全一般化に拡張するが、パラメータの膨張を伴う。
• 二項分布の尾部バウンドを用いて、強い一般化下でのプライバシーパラメータの下界を導出する。
• シミュレータベースの議論と集中不等式を用いて、微分プライバシーのパラメータと強い一般化パラメータの関係を定式化する。

実験結果

リサーチクエスチョン

• RQ1 PAC学習可能な概念クラスすべてに対して、最適に近い標本複雑性で頑健一般化が達成可能か？
• RQ2 頑健一般化は微分プライバシーより厳密に弱いか？ もしそうなら、微分プライバシーでは解決できない学習タスクを解けるか？
• RQ3 完全一般化は微分プライバシーより厳密に強いのか？ また、適応的合成によって達成可能か？
• RQ4 パラメータの膨張の観点から、微分プライバシーと強い一般化の関係は何か？
• RQ5 特にメカニズムの合成を通じて、過度なパラメータの膨張なしに完全一般化を達成できるか？

主な発見

• すべてのPAC学習可能な概念クラスに対して、最適に漸近的に近い標本複雑性で頑健に一般化可能な学習アルゴリズムが存在する。
• 微分プライバシーでは解けないが頑健一般化では解ける学習タスクが存在し、頑健一般化が微分プライバシーより厳密に弱いかを示す。
• 完全一般化は微分プライバシーより厳密に強く、完全一般化を満たすが微分プライバシーを満たさないメカニズムの存在によって示される。
• ラプラスメカニズムは頑健一般化を満たし、$(\beta, \tilde{\theta}(\beta, \frac{1}{\beta}))$-強い一般化を満たす。また、$\beta$-強い一般化パラメータの下界は$\tilde{\theta}(\beta \times \frac{1}{\beta})$である。
• グループプライバシーにより、任意の$(\beta, \tilde{\theta}(\beta, \frac{1}{\beta}))$-微分プライバシーのメカニズムは$(0, n\beta, ne^{(n-1)\beta}\tilde{\theta}(\beta, \frac{1}{\beta}))$-完全一般化可能であるが、顕著なパラメータの膨張を伴う。
• $(\beta, \tilde{\theta}(\beta, \frac{1}{\beta}))$-完全一般化可能なメカニズムの合成は、グループプライバシーによる直接的還元よりも優れた一般化パラメータをもたらし、完全一般化へのよりスケーラブルな道筋を示唆する。