[論文レビュー] The Secret Sharer: Measuring Unintended Neural Network Memorization & Extracting Secrets

Nicholas Carlini, Chang Liu+3 more|arXiv (Cornell University)|Feb 22, 2018

Privacy-Preserving Technologies in Data参考文献 33被引用数 123

ひとこと要約

本論文は、深層学習モデルにおける機密情報の意図しない記憶化を測定するシンプルな指標「exposure」を導入する。ブラックボックスAPIアクセスを用いて、効率的な機密情報抽出を実証し、記憶化が早期に発生し、さまざまなモデルで持続的であることが判明した。これは過適合の結果ではなく、より強力な防御策の必要性を示唆している。著者らは、差分プライバシー訓練がそのような防御を達成可能であることを検証している。

ABSTRACT

Machine learning models based on neural networks and deep learning are being rapidly adopted for many purposes. What those models learn, and what they may share, is a significant concern when the training data may contain secrets and the models are public -- e.g., when a model helps users compose text messages using models trained on all users' messages. This paper presents exposure: a simple-to-compute metric that can be applied to any deep learning model for measuring the memorization of secrets. Using this metric, we show how to extract those secrets efficiently using black-box API access. Further, we show that unintended memorization occurs early, is not due to over-fitting, and is a persistent issue across different types of models, hyperparameters, and training strategies. We experiment with both real-world models (e.g., a state-of-the-art translation model) and datasets (e.g., the Enron email dataset, which contains users' credit card numbers) to demonstrate both the utility of measuring exposure and the ability to extract secrets. Finally, we consider many defenses, finding some ineffective (like regularization), and others to lack guarantees. However, by instantiating our own differentially-private recurrent model, we validate that by appropriately investing in the use of state-of-the-art techniques, the problem can be resolved, with high utility.

研究の動機と目的

• プライベートまたは機密情報を含むデータセットで訓練された深層学習モデルにおける、意図しない機密データの記憶化を定量化すること。
• 任意の深層学習モデルに対して適用可能な、実用的で普遍的な指標「exposure」を考案し、記憶化を測定すること。
• 生産環境のモデルでさえも、ブラックボックスAPIアクセスのみを用いて機密情報が効率的に抽出可能であることを実証すること。
• 記憶化の根本的原因を調査すること。特に、発生タイミング、持続性、および過適合とは独立しているかどうか。
• 既存の防御策を評価し、差分プライバシー訓練が記憶化を効果的に軽減しつつ、モデルの有用性を維持できることを検証すること。

提案手法

• 記憶化されたデータインスタンスを入力とした際のモデル出力確率分布に基づき、『exposure』を指標として提案する。
• モデルのAPIへのブラックボックスクエリアクセスを用い、出力尤度を測定することで、繰り返し記憶された機密情報を特定する。
• 機密情報（例：クレジットカード番号を含むEnronメール）を含むデータセットでモデルを訓練し、多様なアーキテクチャと学習戦略における記憶化を評価する。
• 重み減衰、ドロップアウト、 adversarial training などのさまざまな防御策を適用し、それらが露出を低減する効果があるかを評価する。
• 差分プライバシーを適用した再帰的モデルを実装・評価し、プライバシー保護型学習が記憶化を効果的に排除しつつ高いモデル有用性を維持できることを検証する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、意図しないデータであるにもかかわらず、訓練データからの機密情報をどれほど記憶するのか？
• RQ2 ブラックボックスAPIアクセスのみを用いて機密情報が抽出可能か。その効率はいかほどか？
• RQ3 記憶化は学習の初期段階で発生し、さまざまなモデルアーキテクチャーやハイパーパrameterにわたって持続的か？
• RQ4 一般的な正則化手法（例：重み減衰、ドロップアウト）は記憶化を低減できるか。それとも根本原因に対処できないか？
• RQ5 差分プライバシー訓練は、記憶化を効果的に排除しつつ、モデルの有用性を維持できるか？

主な発見

• 機密情報の記憶化は学習の初期段階で発生し、過適合していないモデルでも持続的であるため、これは過適合の副産物ではなく、根本的な問題であることが示された。
• 『exposure』指標は、多様なモデルやデータセット（包括的にSOTA翻訳モデルを含む）において記憶化を的確に定量化できた。
• Enronデータセットに含まれるクレジットカード番号などの機密情報は、ブラックボックスAPIクエリのみを用いても高い成功率で抽出可能であった。
• 重み減衰やドロップアウトといった一般的な防御策は露出を低減できず、記憶化に対して効果がなかった。
• 差分プライバシー訓練は記憶化を効果的に排除しつつ、高いモデル有用性を維持できることを検証した。