[論文レビュー] Smoothed Analysis of Online and Differentially Private Learning

Nika Haghtalab, Tim Roughgarden+1 more|arXiv (Cornell University)|Jun 17, 2020

Machine Learning and Algorithms参考文献 27被引用数 5

ひとこと要約

本稿は、オンラインおよび微分プライベートな学習の滑らかさ解析フレームワークを導入し、わずかに摂動された（σ-スムーズな）入力では、レグレットとプライバシー誤差の境界がVC次元とブレケットティング数にのみ依存し、無限大のリトルスタイン次元に依存しないことを示している。これは、現実的な半確率的データモデルにおいて近似的に最適な保証を達成し、線形しきい値のようなクラスにおける最悪ケースの不可能性結果を克服する。

ABSTRACT

Practical and pervasive needs for robustness and privacy in algorithms have inspired the design of online adversarial and differentially private learning algorithms. The primary quantity that characterizes learnability in these settings is the Littlestone dimension of the class of hypotheses [Ben-David et al., 2009, Alon et al., 2019]. This characterization is often interpreted as an impossibility result because classes such as linear thresholds and neural networks have infinite Littlestone dimension. In this paper, we apply the framework of smoothed analysis [Spielman and Teng, 2004], in which adversarially chosen inputs are perturbed slightly by nature. We show that fundamentally stronger regret and error guarantees are possible with smoothed adversaries than with worst-case adversaries. In particular, we obtain regret and privacy error bounds that depend only on the VC dimension and the bracketing number of a hypothesis class, and on the magnitudes of the perturbations.

研究の動機と目的

• オンラインおよび微分プライベートな学習の根本的制限に対処すること。ここでは、有限のリトルスタイン次元が要求されるが、実用的な仮説クラスでは頻繁に破られる。
• オンラインおよびプライベートな学習における既知の最悪ケースの不可能性結果（例：線形しきい値では無限大のレグレット）が、現実的なデータ摂動下では壊れやすいことの示唆。
• 自然が入力を摂動する滑らかさの敵対的モデルにおいて、強いレグレットとプライバシー誤差の保証を持つアルゴリズムの設計。
• この半確率的モデルにおいて、性能を支配するのはリトルスタイン次元ではなく、VC次元とブレケットティング数であることを示すこと。
• 最悪ケース分析を超えて、実用的状況におけるロバストでプライベートな学習の厳密な理論的基盤を提供すること。

提案手法

• 入力が密度が1/σ倍の均一分布で有界な分布から生成されるσ-スムーズな敵対的モデルを導入。これは測定ノイズや不確実性を反映している。
• 受け入れ確率が密度に比例するように、一様分布からのサンプリングと棄却サンプリングを組み合わせ、目的のσ-スムーズ分布からのサンプルを生成。
• 仮説空間を離散化し、サブサンプリングされたネットを用いて指数的機構を適用することで、クエリ誤差をプライベートに推定し、微分プライバシーを保証。
• 集中限界とチェルノフ型不等式を用いて、必要なサンプル数と真の分布の近似誤差を制御。
• σ-スムーズ分布が小さな区間に対して限られた質量を持つことを利用し、有効な学習のためのO(1/σ)個の仮説への離散化を可能にする。
• サブサンプリングによる分布近似と微分プライバシーの保証を組み合わせ、クエリ応答の誤差を制限。

実験結果

リサーチクエスチョン

• RQ1 自然が敵対的入力をわずかに摂動させた場合、オンラインおよび微分プライベートな学習が強い保証を達成できるか？
• RQ2 オンラインおよびプライベートな学習における既知の最悪ケースの不可能性結果は、滑らかさ解析下でも依然として成立するか？
• RQ3 VC次元とブレケットティング数は、滑らかさ解析下のオンラインおよびプライベートな学習において、リトルスタイン次元の代わりに主要な複雑さの指標として機能できるか？
• RQ4 レグレットとプライバシー誤差が摂動スケールσと仮説クラスの複雑さにどのように依存するか？
• RQ5 リトルスタイン次元が無限大であっても、滑らかさの敵対的モデル下で近似的に最適な性能を達成できる効率的アルゴリズムを設計できるか？

主な発見

• オンライン学習において、レグレット境界はリトルスタイン次元が無限大であるがゆえに無限大になるのではなく、VC次元と摂動サイズσに依存する。
• 微分プライベートな学習において、誤差境界はO(√[3]{(d log(1/σ) + log(1/η))/ϵn}) であり、dはVC次元、σはスムーズネスパラメータ、ηは失敗確率である。
• サブサンプルドネット機構は、高確率での誤差境界を達成し、その境界は仮説クラスのリトルスタイン次元に依存せず、VC次元と摂動スケールにのみ依存する。
• 正確な近似に必要なサンプル数はO((log(1/η) + d)/(σγ²)) であり、スムーズネス下での効率性を示している。
• このフレームワークにより、線形しきい値のような無限大のリトルスタイン次元を持つ仮説クラスのプライベートな学習が、現実的なデータ摂動下で可能になる。
• 結果として、最悪ケースの下限が壊れることを示している：自然が敵対的入力を摂動させることで、強い保証が達成可能である。