[論文レビュー] Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning

Christopher A. Choquette-Choo, H. Brendan McMahan+2 more|arXiv (Cornell University)|Nov 12, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本論文は、複数回のエポック（繰り返し）を許容する微分プライバシー（DP）機械学習のためのマルチエポック行列因子分解機構を導入する。オンライン行列因子分解を拡張し、データに対して複数回の通過を可能にした。マルチ参加感度制約下での最適行列計算の閉形式双対定式を提案し、効率的なFFTベースのメカニズムを構築。プライバシー・ユーティリティのトレードオフが最先端水準に達し、プライバシー拡散なしで、低プライバシー予算（ε ≈ 2）でもDP-SGDを上回る性能を発揮する。

ABSTRACT

We introduce new differentially private (DP) mechanisms for gradient-based machine learning (ML) with multiple passes (epochs) over a dataset, substantially improving the achievable privacy-utility-computation tradeoffs. We formalize the problem of DP mechanisms for adaptive streams with multiple participations and introduce a non-trivial extension of online matrix factorization DP mechanisms to our setting. This includes establishing the necessary theory for sensitivity calculations and efficient computation of optimal matrices. For some applications like $>\!\! 10,000$ SGD steps, applying these optimal techniques becomes computationally expensive. We thus design an efficient Fourier-transform-based mechanism with only a minor utility loss. Extensive empirical evaluation on both example-level DP for image classification and user-level DP for language modeling demonstrate substantial improvements over all previous methods, including the widely-used DP-SGD . Though our primary application is to ML, our main DP results are applicable to arbitrary linear queries and hence may have much broader applicability.

研究の動機と目的

• 既存のDPメカニズムが単一エポックの学習に限定されているという限界に対処すること。これは現代のMLパイプラインにおいて不自然である。
• 一般参加スキーム（ベクトル寄与を伴う）における行列メカニズムの感度計算を形式化し、高次元MLモデルへの応用を可能にする。
• マルチ参加制約下での最適行列因子分解を計算的に効率的に行う方法を開発すること。特に大規模なSGD学習に適している。
• 計算コストを削減しながらもユーティリティを維持する近似最適なFFTベースのメカニズムを設計すること。特に長時間のトレーニングに有効。
• 提案手法を例レベルおよびユーザーレベルDP設定において実験的に検証し、プライバシー・ユーティリティのトレードオフが優れていることを示すこと。

提案手法

• 一般参加スキーム下での行列メカニズム感度計算のフレームワークを提案。理論的条件を提示し、計算可能性とベクトルからスカラーへの還元を保証（Cor. 2.1, Thm. H.1）。
• マルチ参加感度制約下での最適行列因子分解の損失最小化問題に対する閉形式双対関数を導出（式6）。先行研究を一般化する。
• 循環行列およびトーペリッツ行列構造を活用し、O(n log n)時間で行列-ベクトル積を効率的に計算可能なFFTベースのメカニズムを導入。
• ストリーミング接頭辞和のための修正版オンラインHonakerベースのデコーダを採用。DP-FTRLスタイルのパイプラインにおける精度向上のため、ツリー完成処理を改善。
• スタンピングと感度分析（Thm. 2.1）を用いて、マルチエポック設定における行列設計を最適化。近似最適な性能を実現。
• 線形クエリへの行列メカニズムの応用を実施。理論的保証はMLにとどまらず、オンラインPCA、マージナル推定、トップ-k選択などにも適用可能。

実験結果

リサーチクエスチョン

• RQ1 データセットに対して複数回の通過（エポック）を許容しつつ、微分プライバシーを維持できるように、行列因子分解メカニズムを拡張できるか？
• RQ2 マルチ参加およびベクトル寄与を伴う状況下で、感度計算と最適行列因子分解が計算可能であるための理論的条件は何か？
• RQ3 大規模なトレーニング（例：10,000ステップ以上）において、最適行列因子分解の計算コストをどのように低減できるか？
• RQ4 FFTベースのメカニズムは、マルチエポック設定下でも、著しく計算コストを削減しながら、近似最適なユーティリティを達成できるか？
• RQ5 例レベルおよびユーザーレベルDP設定において、提案手法はDP-SGDおよび先行する行列メカニズムと比較して、プライバシー・ユーティリティのトレードオフで優れているか？

主な発見

• 提案された最適マルチエポック行列メカニズムは、プライバシー拡散付きのDP-SGDを、ε ≈ 2という低プライバシー予算でも上回り、CIFAR-10における画像分類タスクで最先端の精度を達成した。
• FFTベースのメカニズムはわずかなユーティリティ損失で近似最適な性能を発揮し、大規模トレーニングでも効率的な計算を可能にした。
• フルバッチ微分プライバシー勾配降下法と比較して、計算コストを340倍削減したが、最適DP学習のフォーゴルド上界に近づいた。
• 理論的分析により、マルチ参加下での感度計算がNP困難である可能性があることが確認されたが、特定の条件下では計算可能である（Cor. 2.1, Thm. H.1）。これにより実用的な最適化が可能となった。
• 12回の繰り返し実験において、95％ブートストラップ信頼区間を用いて一貫した改善が得られ、ロバストネスと一般化性能が裏付けられた。
• 本フレームワークはMLにとどまらず、オンラインPCA、マージナル推定、トップ-k選択など、任意の線形クエリへも広く適用可能である。