[論文レビュー] An Attack on InstaHide: Is Private Learning Possible with Instance Encoding?

Nicholas Carlini, Samuel Deng+7 more|arXiv (Cornell University)|Nov 10, 2020

Privacy-Preserving Technologies in Data参考文献 10被引用数 20

ひとこと要約

本稿では、インスタンス符号化を用いるプライバシー保護学習手法であるInstaHideのプライバシーを破る実用的な再構成攻撃を提示する。この攻撃は符号化された入力から視覚的に識別可能な画像を回復する。著者らは、CIFAR-10、CIFAR-100、およびInstaHideチャレンジにおいて攻撃の有効性を示し、いかなるインスタンス符号化プロトコルでも不変性に基づくプライバシーを達成することは根本的に不可能であることを証明する。

ABSTRACT

A learning algorithm is private if the produced model does not reveal (too much) about its training set. InstaHide [Huang, Song, Li, Arora, ICML'20] is a recent proposal that claims to preserve privacy by an encoding mechanism that modifies the inputs before being processed by the normal learner. We present a reconstruction attack on InstaHide that is able to use the encoded images to recover visually recognizable versions of the original images. Our attack is effective and efficient, and empirically breaks InstaHide on CIFAR-10, CIFAR-100, and the recently released InstaHide Challenge. We further formalize various privacy notions of learning through instance encoding and investigate the possibility of achieving these notions. We prove barriers against achieving (indistinguishability based notions of) privacy through any learning protocol that uses instance encoding.

研究の動機と目的

• InstaHideのセキュリティを調査すること。InstaHideは入力の符号化によりプライバシーを主張する学習アルゴリズムである。
• インスタンス符号化が機械学習モデルにおいて意味のあるプライバシーを達成できるかどうかを評価すること。
• インスタンス符号化を用いた学習プロトコルにおける不変性に基づくプライバシー概念を形式化すること。
• インスタンス符号化プロトコルを用いたプライベート学習が根本的に不可能であるかどうかを特定すること。

提案手法

• 符号化された画像を活用して視覚的に識別可能な元の入力を回復する再構成攻撃の設計。
• 標準ベンチマークへの攻撃の適用：CIFAR-10、CIFAR-100、およびInstaHideチャレンジデータセット。
• インスタンス符号化を用いた学習プロトコルにおける不変性に基づくプライバシー概念の形式化。
• いかなるインスタンス符号化プロトコルでも不変性に基づくプライバシーを達成できないことを示す理論的障壁の証明。
• 実験的評価を用いて、攻撃が複数のデータセットおよびモデルアーキテクチャにおいて成功することを示す。

実験結果

リサーチクエスチョン

• RQ1 再構成攻撃は、InstaHideで符号化された入力から視覚的に識別可能な画像を回復できるか？
• RQ2 インスタンス符号化は機械学習モデルにおけるプライバシーをどの程度提供するか？
• RQ3 インスタンス符号化による不変性に基づくプライバシーを達成する上で、根本的な理論的制限は存在するか？
• RQ4 インスタンス符号化を用いたいかなる学習プロトコルでも、強いプライバシー保証を満たすことができるか？

主な発見

• 再構成攻撃は、CIFAR-10およびCIFAR-100において、InstaHideで符号化された入力から視覚的に識別可能な画像を成功裏に回復した。
• 攻撃は最近公開されたInstaHideチャレンジデータセットにおいて、InstaHideのプライバシー主張を破った。
• 著者らは、インスタンス符号化を用いたいかなる学習プロトコルでも不変性に基づくプライバシーを達成できないことを証明した。
• 理論的障壁は、符号化手法やモデルアーキテクチャにかかわらず成立する。