[論文レビュー] Is Private Learning Possible with Instance Encoding?

Nicholas Carlini, Samuel Deng+7 more|arXiv (Cornell University)|Nov 10, 2020

Privacy-Preserving Technologies in Data参考文献 42被引用数 11

ひとこと要約

この論文は、訓練データを非プライベートな学習者に供給する前に変換するインスタンスエンコーディングを用いたプライベートな機械学習が可能かどうかを調査する。強いプライバシー保証の理論的不可能性を示し、実用的な再構成攻撃を提示する。この攻撃により、最先端のエンコーディング方式であるInstaHideの安全性が破られ、元の画像のほぼ完全なコピーがエンコード済みデータから回復可能であることが示された。これにより、このような手法が意味のあるプライバシーを提供しないことが明らかになった。

ABSTRACT

A private machine learning algorithm hides as much as possible about its training data while still preserving accuracy. In this work, we study whether a non-private learning algorithm can be made private by relying on an instance-encoding mechanism that modifies the training inputs before feeding them to a normal learner. We formalize both the notion of instance encoding and its privacy by providing two attack models. We first prove impossibility results for achieving a (stronger) model. Next, we demonstrate practical attacks in the second (weaker) attack model on InstaHide, a recent proposal by Huang, Song, Li and Arora [ICML'20] that aims to use instance encoding for privacy.

研究の動機と目的

• インスタンスエンコーディングがモデルの精度を損なわせることなく、機械学習における強いプライバシー保証を提供できるかどうかを調査すること。
• 2つの攻撃モデルを用いて、インスタンスエンコーディング方式のためのプライバシーと利便性の要件を形式化すること。
• 顕著なインスタンスエンコーディング手法として知られるInstaHideの、実用的な再構成攻撃に対する安全性を評価すること。
• より強いバージョンのInstaHide（混合パラメータを大きくしたもの）でさえも、依然として脆弱であることを示すこと。
• エンコーディングに基づく手法におけるヒューリスティックなプライバシー主張は不十分であり、厳密で反証可能なプライバシー定義の導入を提唱すること。

提案手法

• 任意の関数 E を用いた訓練データの変換としてインスタンスエンコーディングを形式化し、インスタンスとラベルのエンコーディングを分離すること。
• 2つの攻撃モデルを定義する：1つはエンコード出力に基づいて2つの訓練データセットを区別する攻撃、もう1つはエンコード混合物から元の画像を再構成する攻撃。
• クラスタリングとノイズのある線形系の解法を活用して、元の画像を回復するInstaHideに対する再構成攻撃を提案すること。
• GANを用いた再カラー化により、InstaHideの線形ミックスアッププロセスで使用された混合重みと公開画像を推定すること。
• 構造的類似性（SSIM）を用いた再帰的減算法を適用し、混合エンコーディングから個々のプライベート画像を分離・回復すること。
• k（1回のエンコード例あたりの画像数）を大きくした場合の攻撃への拡張を行い、kの増加に伴いノイズの平均化が向上し、再構成精度が向上することを示した。

実験結果

リサーチクエスチョン

• RQ1 どのようなインスタンスエンコーディング方式であっても、暗号的基準に相当する十分な強度の区別不能性に基づくプライバシー保証を提供できるか？
• RQ2 エンコーディングがそれらを隠ぺいすることを意図しても、非プライベートな学習者が出力するエンコード済みデータから、元の訓練画像を再構成することは可能か？
• RQ3 InstaHideにおける1つのエンコード例に混在する画像数（k）を増やすと、再構成攻撃の実行可能性にどのような影響を与えるか？
• RQ4 InstaHideのようなエンコーディングベース手法におけるヒューリスティックなプライバシー主張は、厳密な暗号解析の下でも成立するか？
• RQ5 強いプライバシーに対する理論的不可能性の結果は、InstaHideのような実世界の実用的エンコーディング方式へも拡張可能か？

主な発見

• 理論的分析により、有用なインスタンスエンコーディングは、非負の確率で区別攻撃を防げないことが証明され、強いプライバシー主張が無効であることが示された。
• 実用的な再構成攻撃により、InstaHideチャレンジデータセットから全画像を69％の成功率で回復可能であり、85％のケースで少なくとも2/3の画像が回復された。
• 1つのエンコード済み画像と、公開パラメータの完全な知識があれば、攻撃はほぼ完璧な精度で画像を再構成でき、深刻な脆弱性が示された。
• 混合パラメータkが増加するにつれて攻撃の効果が向上し、kの増加がセキュリティ向上をもたらすという主張とは矛盾した結果となった。
• GANを用いた再カラー化ステップにより、混合重みの正確な推定が可能となり、再帰的減算フェーズの成功に不可欠な要因となった。
• k値を大きくしたInstaHideの拡張版も、kが大きくなるに従い、公開画像からのノイズが限りなく小さくなるため、プライバシーを強化しないことが示された。