[論文レビュー] The Secret Sharer: Evaluating and Testing Unintended Memorization in Neural Networks

Nicholas Carlini, Chang Liu+3 more|arXiv (Cornell University)|Feb 22, 2018

Privacy-Preserving Technologies in Data被引用数 504

ひとこと要約

本論文は、露出ベースのテスト手法を用いて、ニューラルネットワークのシーケンスモデルにおける稀な訓練データや秘密データの予期せぬ memorization（記憶化）を定量化し制限することを提案し、Google Smart Compose のような実世界のシステムでその実用性を実証します。

ABSTRACT

This paper describes a testing methodology for quantitatively assessing the risk that rare or unique training-data sequences are unintentionally memorized by generative sequence models---a common type of machine-learning model. Because such models are sometimes trained on sensitive data (e.g., the text of users' private messages), this methodology can benefit privacy by allowing deep-learning practitioners to select means of training that minimize such memorization. In experiments, we show that unintended memorization is a persistent, hard-to-avoid issue that can have serious consequences. Specifically, for models trained without consideration of memorization, we describe new, efficient procedures that can extract unique, secret sequences, such as credit card numbers. We show that our testing strategy is a practical and easy-to-use first line of defense, e.g., by describing its application to quantitatively limit data exposure in Google's Smart Compose, a commercial text-completion neural network trained on millions of users' email messages.

研究の動機と目的

• 稀な訓練データや秘密データの memorization を評価する定量的な露出ベース指標を生成モデルに適用する。
• 訓練データへカナリアを挿入し、訓練済みモデルにおける露出を測定する実用的なテスト方法論を提供する。
• 実世界のシステム（例：Google の Smart Compose）でこの方法論を実証し、プライバシー保護を意識した訓練選択を導く。
• モデルや訓練条件の違いに伴う memorization の出現を調査し、単純な防御策と差分プライバシーの比較を評価する。

提案手法

• シーケンス尤度の指標として log-perplexity を定義し、挿入されたカナリアとランダムなシーケンスの perplexities を比較する。
• カナリアのモデルの perplexity 分布におけるランキング（推測エントロピー）から導出される露出指標を導入する。
• 訓練データへ形式ベースのカナリアを挿入し、同一の設定でモデルを訓練して memorization の影響を測定する。
• 露出をランクベースの露出を推定するためにサンプリングや分布モデリング（例：スキューノーマル分布）を用いて効率的に近似する。
• 実用的なテストパイプラインを提供する：カナリアを含むデータを追加し、訓練して、カナリア挿入頻度の関数として露出曲線を報告する。
• 大規模な本番モデル（Smart Compose）への適用で有用性とプライバシーのトレードオフを検証する。

実験結果

リサーチクエスチョン

• RQ1 露出指標で測定された memorization が、訓練データへ稀に発生する秘密データの memorization をニューラルネットワークが記憶するか？
• RQ2 訓練 regime、モデルサイズ、データ分布に伴う memorization の変動はどうなるか、過度なユーティリティの損失を伴わずに緩和できるか？
• RQ3 早期停止やドロップアウトなどの単純な正則化で予期せぬ memorization を防げるか、それともプライバシー保護型訓練が必要か？
• RQ4 他の防御法と比較して、ディファレンシャルプライバシーは memorization を排除するのにどれくらい効果的か？

主な発見

• 稀で秘密性の高い訓練データの予期せぬ memorization は、データが非常に稀である場合でもモデルや訓練戦略を問わず一般的に発生する。
• 露出ベースのテスト戦略は memorization を定量化でき、同程度の精度でも訓練アプローチ間の差を明らかにできる。
• 訓練データへ挿入されたカナリアは、ブラックボックス的な問い合わせモデルの下で効率的に抽出されるか、あるいは高度に露出する。
• 早期停止とドロップアウトは予期せぬ memorization を防ぐには不十分であり、差分プライバシー訓練は memorization を排除できるがユーティリティコストが伴う。
• Google の Smart Compose への適用では、露出指標がプライバシー配慮を導き、データ露出を制限する現実的な関連性を示した。