[論文レビュー] Opacus: User-Friendly Differential Privacy Library in PyTorch

Ashkan Yousefpour, Igor Shilov+10 more|arXiv (Cornell University)|Sep 25, 2021

Privacy-Preserving Technologies in Data参考文献 13被引用数 23

ひとこと要約

Opacusは、わずか2行のコード変更でディファレンシャルプライバシーを用いたディープラーニングモデルの学習を可能にする、使いやすく高性能なPyTorchライブラリです。これは、微小バッチ処理の性能オーバーヘッドを回避するため、ベクトル化された演算によって効率的にサンプルごとの勾配を計算することで実現されています。また、幅広いレイヤー（アテンションやRNNを含む）をサポートしており、既存のフレームワークよりも高速かつメモリ効率に優れています。

ABSTRACT

We introduce Opacus, a free, open-source PyTorch library for training deep learning models with differential privacy (hosted at opacus.ai). Opacus is designed for simplicity, flexibility, and speed. It provides a simple and user-friendly API, and enables machine learning practitioners to make a training pipeline private by adding as little as two lines to their code. It supports a wide variety of layers, including multi-head attention, convolution, LSTM, GRU (and generic RNN), and embedding, right out of the box and provides the means for supporting other user-defined layers. Opacus computes batched per-sample gradients, providing higher efficiency compared to the traditional "micro batch" approach. In this paper we present Opacus, detail the principles that drove its implementation and unique features, and benchmark it against other frameworks for training models with differential privacy as well as standard PyTorch.

研究の動機と目的

• ディファレンシャルプライバシーのPyTorchベースの機械学習パイプラインへの統合を簡素化すること。
• 従来のマイクロバッチ処理による性能ボトルネックを解消し、ベクトル化されたサンプルごとの勾配計算を可能にすることで、DP-SGDにおける性能を向上させること。
• 幅広いディープラーニングレイヤーをネイティブでサポートする柔軟で拡張可能かつ効率的なフレームワークを提供すること。
• 組み込みのRényiディファレンシャルプライバシー会計によるリアルタイムのプライバシーバジェット追跡と早期停止を可能にすること。
• 標準のPyTorchワークフローと互換性を保ちながら、既存のDP学習フレームワークを上回る速度とメモリ効率を実現すること。

提案手法

• DP学習を可能にするために、PyTorchモデル、オプティマイザ、データローダをラップするPrivacyEngineクラスを導入。単一のメソッド呼び出しでDP学習が可能。
• PyTorchのautogradエンジンにサンプルレベルの勾配追跡を追加することで、効率的なサンプルごとの勾配計算を実現するGradSampleModuleを採用。
• マイクロバッチ処理の代わりにベクトル化された計算を採用し、ハードウェアの利用効率を維持するとともに、学習スループットを向上。
• オプティマイザラッパー内でノイズ注入と勾配クリッピングを実装し、パラメータ更新段階でのDP保証を確保。
• Rényiディファレンシャルプライバシー（RDP）を用いたプライバシー会計を実装し、自動的なバジェット追跡と早期停止を可能に。
• 明確に定義されたインターフェースを通じて、カスタムレイヤーや会計プロトコルの拡張を可能にし、高度なMLワークフローへの統合を支援。

実験結果

リサーチクエスチョン

• RQ1 ディファレンシャルプライバシーをPyTorch学習に最小限のコード変更で統合しつつ、高いパフォーマンスを維持できるか？
• RQ2 DP-SGDにおいて、ベクトル化されたサンプルごとの勾配計算はマイクロバッチ処理と比較して、速度とメモリ効率の点でどのように異なるか？
• RQ3 Opacusは、アテンションやRNNレイヤーを含む複雑なディープラーニングアーキテクチャを、ディファレンシャルプライバシー下でどの程度サポートできるか？
• RQ4 Opacusのパフォーマンスは、TensorFlow Privacy や BackPACK などの既存のDP学習フレームワークと比較してどうか？
• RQ5 Opacusは、カスタムコンパイル済みDP-SGD実装と比較して、スループットとメモリ効率の点で競争力を持つことができるか？

主な発見

• マイクロバッチ処理を回避することで、学習のオーバーヘッドを低減し、マイクロバッチベースの実装よりも高いスループットを達成。
• 標準モデルでは、非DPモード時でピークCUDAメモリ使用量の56.5% ± 8.7%、DPモード時で57.5% ± 14.9%を記録し、メモリの著しい増加は見られない。
• 畳み込みレイヤーでは、DPモード時でピーク割り当てメモリの6.15% ± 0.03%しか使用しないが、これは最適化されたメモリ管理によるもので、非DP時よりも顕著に低い。
• 複数のモデルとデータセットにおいて、TensorFlow Privacy や BackPACK などの既存フレームワークを上回る学習速度とメモリ効率を実現。
• 特にスループットとメモリ効率において、カスタムJITコンパイル済みDP-SGD実装と同等のパフォーマンスを達成。
• マルチヘッドアテンション、LSTM、GRU、埋め込みレイヤーなど、幅広いレイヤーをネイティブでサポートしており、広範な適用性を有する。