[論文レビュー] InstaHide's Sample Complexity When Mixing Two Private Images

Baihe Huang, Zhao Song+4 more|arXiv (Cornell University)|Nov 24, 2020

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 4

ひとこと要約

本稿は、2つのプライベート画像が混合される場合に、InstaHideにおけるすべてのプライベート画像を回復する証明可能に安全なアルゴリズムを提案し、$\Omega(n_{\mathsf{priv}}\log n_{\mathsf{priv}}})$ の最適なサンプル複雑性を達成する。また、InstaHideの攻撃を分析する統一的なフレームワークを導入し、InstaHideが情報理論的に安全ではないものの、最悪ケースの仮定の下では計算的に安全であることを示している。

ABSTRACT

Training neural networks usually require large numbers of sensitive training data, and how to protect the privacy of training data has thus become a critical topic in deep learning research. InstaHide is a state-of-the-art scheme to protect training data privacy with only minor effects on test accuracy, and its security has become a salient question. In this paper, we systematically study recent attacks on InstaHide and present a unified framework to understand and analyze these attacks. We find that existing attacks either do not have a provable guarantee or can only recover a single private image. On the current InstaHide challenge setup, where each InstaHide image is a mixture of two private images, we present a new algorithm to recover all the private images with a provable guarantee and optimal sample complexity. In addition, we also provide a computational hardness result on retrieving all InstaHide images. Our results demonstrate that InstaHide is not information-theoretically secure but computationally secure in the worst case, even when mixing two private images.

研究の動機と目的

• 2つのプライベート画像が混合される場合に、InstaHideにおけるプライベート画像を回復するために必要なサンプル複雑性を分析すること。
• 最小限のサンプル数ですべてのプライベート画像を回復できる証明可能に正しいアルゴリズムを開発すること。
• 既存のInstaHide攻撃を比較するための統一的なフレームワークを確立し、それらの構造的類似点と相違点を特定すること。
• コア回復問題の計算的困難性を証明し、標準的な複雑性仮定の下で効率的アルゴリズムが存在しないことを示すこと。

提案手法

• アルゴリズムは、プライベート画像、パブリック画像、および符号反転混合画像を含む方程式系を解き、すべての可能な符号パターンをサンプル全体でテストする。
• $\ell_2$-回帰を用いて、観測された混合画像との符号整合性を満たす制約のもとで、各画素のプライベート画像の重みを推定する。
• 重要なステップとして、混合データから線グラフを再構築し、攻撃をグラフ同型性問題に結びつける。
• 各画素について、$m$ 個のサンプルのすべての $2^m$ 個の符号組み合わせを体系的にチェックして、一貫性のある解を同定する。
• 理論的分析により、隠れた符号を含む $\ell_2$-回帰問題が MAX-CUT 問題に還元され、NP困難性が証明される。
• このフレームワークにより、グラム行列推定や符号回復といった機能的要素に分解することで、既存の攻撃の比較が可能になる。

実験結果

リサーチクエスチョン

• RQ1 2つのプライベート画像が混合される場合に、InstaHideにおけるすべてのプライベート画像を回復するために必要な最小サンプル数は何か？
• RQ2 提案されたアルゴリズムは、サンプル複雑性の観点から、先行研究の理論的上限をどのように改善するか？
• RQ3 InstaHide混合モデル下でのプライベート画像の回復の計算的複雑性は何か？
• RQ4 コア回復問題は、MAX-CUT などの既知の難問に還元可能か？
• RQ5 既存のヒューリスティック攻撃は、提案された証明可能手法と比較して、構造的および機能的にどのように類似・相違するか？

主な発見

• 提案されたアルゴリズムは、$\Omega(n_{\mathsf{priv}}\log n_{\mathsf{priv}}})$ のサンプル数のみで、すべてのプライベート画像を回復可能であり、単一の画像を回復するための従来の $n_{\mathsf{priv}}^{4/3}$ の境界に比べて顕著に改善されている。
• サンプル複雑性は対数要因を除いて最適であり、これは現在の設定下でInstaHideが情報理論的に安全ではないことを示している。
• コア回復問題はMAX-CUT問題への還元によりNP困難であることが証明され、計算的困難性が確立された。
• アルゴリズムは $n_{\mathsf{priv}}$ に関して指数時間で実行されるが、$n_{\mathsf{pub}}$ に関しては多項式時間で実行され、サンプル効率と計算コストのトレードオフが顕在化されている。
• フレームワークにより、既存の攻撃が符号パターン処理やグラム行列推定の点で構造的に類似していることが明らかになった。
• 指数時間仮説（ETH）のもとでは、回復問題に対する準指数時間アルゴリズムは定数近似を達成できないことが示され、計算的安全性が強化された。