[論文レビュー] When Does Differentially Private Learning Not Suffer in High Dimensions?

Xuechen Li, Daogao Liu+5 more|arXiv (Cornell University)|Jul 1, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

本稿では、勾配が低次元部分空間に集中する場合、微分プライバシー付き確率的勾配降下法（DP-SGD）が高次元学習において次元に依存しない性能を達成できることを特定している。『制限付きリプシッツ連続性』を導入することで、勾配の射影大きさが減少する条件下で、モデル次元に依存しない超過リスクの境界を導出しており、大規模な事前学習モデルが理論的期待とは対照的にプライベートな微調整に成功する理由を説明している。

ABSTRACT

Large pretrained models can be privately fine-tuned to achieve performance approaching that of non-private models. A common theme in these results is the surprising observation that high-dimensional models can achieve favorable privacy-utility trade-offs. This seemingly contradicts known results on the model-size dependence of differentially private convex learning and raises the following research question: When does the performance of differentially private learning not degrade with increasing model size? We identify that the magnitudes of gradients projected onto subspaces is a key factor that determines performance. To precisely characterize this for private convex learning, we introduce a condition on the objective that we term \emph{restricted Lipschitz continuity} and derive improved bounds for the excess empirical and population risks that are dimension-independent under additional conditions. We empirically show that in private fine-tuning of large language models, gradients obtained during fine-tuning are mostly controlled by a few principal components. This behavior is similar to conditions under which we obtain dimension-independent bounds in convex settings. Our theoretical and empirical results together provide a possible explanation for recent successes in large-scale private fine-tuning. Code to reproduce our results can be found at \url{https://github.com/lxuechen/private-transformers/tree/main/examples/classification/spectral_analysis}.

研究の動機と目的

• プライベートな凸学習における次元依存誤差の理論的予測と、大規模モデルの微調整における実証的成功との間にある明らかな矛盾を解消すること。
• モデルサイズの増大に伴い性能が劣化しない、プライベート学習が成立する条件を同定すること。
• 勾配の集中が次元に依存しないプライバシー・ユーティリティトレードオフを可能にする状況を捉える新しい解析的条件である「制限付きリプシッツ連続性」を形式化すること。
• 大規模言語モデルの微調整勾配が、主成分の数に制限された少数の主要成分に支配されていることを、実験的に検証すること。
• アルゴリズムの変更や公開データを必要とせず、微分プライバシー下での密度型微調整の有効性に理論的基盤を提供すること。

提案手法

• 勾配の大きさが異なる次元の部分空間に射影された場合に一般化された標準的なリプシッツ連続性を考慮する、目的関数に関する条件である「制限付きリプシッツ連続性」を導入する。
• この条件下でDP-SGDの超過経験的リスクおよび母集団リスクに対する精密な上界を導出し、制限付きリプシッツ係数が部分空間次元とともに急速に減少する場合には次元に依存しないことを示す。
• 勾配がアービタリー空間全体をカバーするが、部分空間への射影の大きさが十分に速く減少するため、誤差境界が次元に依存しない unconstrained 最適化問題を分析する。
• 大規模言語モデルの微調整勾配に対してスペクトル解析を実施し、勾配エネルギーの大部分が少数の主成分に集中していることを実証的に示す。
• 理論的境界を先行研究と比較し、DP-SGDの変更や公開データの必要がないにもかかわらず、先行の部分空間制御手法と比較して改善が達成されていることを示す。
• 内在次元およびヘッシアン部分空間の安定性に関する既存の結果を活用し、深層学習一般化の広範な文脈において実証的発見を文脈づける。

実験結果

リサーチクエスチョン

• RQ1 微分プライベート学習がモデル次元の増大に伴い性能劣化を回避する条件は何か？
• RQ2 勾配が全空間をカバーする場合でも、DP-SGDがunconstrained凸最適化において次元に依存しない誤差境界を有する条件は何か？
• RQ3 部分空間への勾配射影の大きさが、高次元プライベート学習におけるプライバシー・ユーティリティトレードオフにどのように影響するか？
• RQ4 微調整された大規模言語モデルの勾配がどの程度低次元部分空間に集中しているか、そしてそれがDP下での実証的成功を説明できるか？
• RQ5 大規模なプライベート微調整の成功は、アルゴリズム的介入や公開データに依存せずに理論的に説明可能か？

主な発見

• 提案された制限付きリプシッツ連続性の条件により、制限付きリプシッツ係数が部分空間次元とともに急速に減少する場合、DP-SGDにおける次元に依存しない超過リスク境界を達成できる。
• 勾配が全アービタリー空間をカバーする場合でも、部分空間への射影の大きさが十分に速く減少するならば、DP-SGDは次元に依存しない誤差を達成できる。
• 実証的分析により、大規模言語モデルの微調整勾配が主に少数の主成分に集中していることが示され、次元に依存しない性能の理論的条件を支持する。
• 理論的枠組みにより、高次元における性能劣化の予想とは対照的に、DP-SGD下での密度型微調整がスパース微調整と同等に効果的であることが説明できる。
• 結果として、DP-SGDのアルゴリズムを変更せず、公開データにアクセスせずとも、大規模モデルの微調整におけるユーティリティの向上を理論的根拠で裏付ける。
• 固定された低ランク部分空間に勾配が存在する必要がないため、従来のランク依存境界の研究を拡張し、より広く適用可能な条件となっている。