[論文レビュー] Differentially Private Continual Learning

Sebastian Farquhar, Yarin Gal|arXiv (Cornell University)|Feb 18, 2019

Privacy-Preserving Technologies in Data参考文献 17被引用数 6

ひとこと要約

本稿では、機密性の高い履歴データを保存せずに知識を保持できるようにする、微分プライバシーを適用した連続学習フレームワークであるDP-VGERを提案する。このフレームワークは、プライバシー保護型生成モデル（dp-GAN）を用いて、破棄された履歴データの尤度を推定する。強固なプライバシー保証がある一方で、GAN学習から公開データを削除すると性能が著しく低下するため、プライバシーと有用性の間にはトレードオフが存在することが示された。

ABSTRACT

Catastrophic forgetting can be a significant problem for institutions that must delete historic data for privacy reasons. For example, hospitals might not be able to retain patient data permanently. But neural networks trained on recent data alone will tend to forget lessons learned on old data. We present a differentially private continual learning framework based on variational inference. We estimate the likelihood of past data given the current model using differentially private generative models of old datasets.

研究の動機と目的

• 機密性のため履歴データを削除しなければならない連続学習における、継続的忘却の問題を解決すること。
• 過去のタスクの機密な訓練データを保存せずに、モデルの性能を維持するフレームワークを開発すること。
• 連続学習における経験再現に用いる生成モデルに微分プライバシーを統合すること。
• プライバシー保証とモデル精度のトレードオフを、連続学習の文脈で評価すること。

提案手法

• プライバシーコストがタスクを跨いで蓄積されないよう、固定事前分布とタスク固有の尤度項を用いた変分推論を採用する。
• 過去のデータで学習した生成モデル（GAN）を用いて、古いデータ分布の尤度を推定し、それを現在のタスクデータの拡張に活用する。
• Zhangら（2018）のdp-GANフレームワークを適用し、勾配クリッピングとガウスノイズを用いて、GAN学習中に(ε,δ)-微分プライバシーを確保する。
• 学習の安定化のため、各データセットの小さな割合（1%）を「公開データ」として使用し、その後完全に削除することで、純粋なプライバシー保証をテストする。
• 変分自由エネルギーにおける扱いにくい対数尤度項を、生成モデルからのモンテカルロ推定に置き換えることで、連続学習を可能にする。
• 複数の出力ヘッドを用いるのではなく、すべてのタスクで1つの出力ヘッドを共有する点で、マルチヘッドアプローチとは異なり、Split MNISTを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを適用した生成モデルは、保存された履歴データに代えて、モデル性能に悪影響を及げることなく、連続学習に有効に機能するか？
• RQ2 dp-GAN学習から公開データを完全に削除した場合、強いプライバシー制約下での連続学習システムの性能にどのような影響を与えるか？
• RQ3 微分プライバシー予算（ε, δ）とモデル精度の間には、プライバシー保護型経験再現を伴う連続学習において、どのようなトレードオフが存在するか？
• RQ4 DP-VGERは、非プライベートなベースラインやVCLのような過去の知識に焦点を当てる連続学習ベースラインと比較して、忘却と精度の点でどのように異なるか？

主な発見

• 1%の公開データを用いたDP-VGERは、コアセットのみのベースラインを上回る精度を達成し、(1, 10⁻⁸)-dpおよび(2, 10⁻⁸)-dp設定では非プライベートなVGERと同等の性能を示した。
• 公開データを完全に削除した場合、(5, 10⁻⁴)-dp設定下では、非プライベートなVGERに比べてDP-VGERの性能が著しく低下しており、性能の維持に公開データへの依存が強いことが示された。
• 微分プライバシーを適用したGANの使用により、生データを保存せずに過去のタスクの知識を維持でき、(ε,δ)-微分プライバシーを満たした。
• 事前分布を固定し、生成モデルによる尤度項の更新のみを実行することで、プライバシーコストを連続学習プロセスから分離することに成功した。
• 厳格なプライバシー要件（公開データなし）下での性能低下は、現在のdp-GANが、高プライバシーかつ高有用性を要する連続学習に、補助データなしではまだ十分に頑健ではない可能性を示唆している。