[論文レビュー] Déjà Vu: an empirical evaluation of the memorization properties of ConvNets

Alexandre Sablayrolles, Matthijs Douze+2 more|arXiv (Cornell University)|Sep 17, 2018

Opportunistic and Delay-Tolerant Networks参考文献 36被引用数 10

ひとこと要約

この論文は、中間層からのアクセスが可能である場合でも、特定の画像が訓練に使われたかどうかを検出できるメンバーシップインファレンス攻撃を提案することで、現代のConvNetsにおける記憶の仕組みを調査している。ResNet-101 や VGG-16 といったモデルが訓練データを記憶していることが示され、データオーグメンテーションが適用されると攻撃の正確性が著しく低下する。また、微調整や層の切り詰めがあっても、低層部が検出可能な記憶信号を保持していることが明らかになった。

ABSTRACT

Convolutional neural networks memorize part of their training data, which is why strategies such as data augmentation and drop-out are employed to mitigate overfitting. This paper considers the related question of "membership inference", where the goal is to determine if an image was used during training. We consider it under three complementary angles. We show how to detect which dataset was used to train a model, and in particular whether some validation images were used at train time. We then analyze explicit memorization and extend classical random label experiments to the problem of learning a model that predicts if an image belongs to an arbitrary set. Finally, we propose a new approach to infer membership when a few of the top layers are not available or have been fine-tuned, and show that lower layers still carry information about the training samples. To support our findings, we conduct large-scale experiments on Imagenet and subsets of YFCC-100M with modern architectures such as VGG and Resnet.

研究の動機と目的

• ResNet-101 や VGG-16 といった現代のConvNetsが、プライバシーやデータ漏洩の文脈においても、特定の訓練画像を記憶しているかどうかを調査すること。
• 最終層が利用できない状況でも、特定の画像やデータセットのサブセットが訓練に使われたかどうかを検出できるメンバーシップインファレンス攻撃を開発・評価すること。
• データオーグメンテーション（例：フリップ、クロップ、リサイズ）が記憶特性と攻撃性能に与える影響を分析し、プライバシー保護における役割を評価すること。
• 最終出力ではなく中間特徴表現を活用することで、転移学習や微調整済みネットワークに対してもメンバーシップインファレンスを拡張すること。
• ランダムラベルや合成データセットを用いた制御された実験を通じて、ConvNetsが任意の画像セットを明示的に記憶できる能力を実証的に示すこと。

提案手法

• 最終層の置き換えとしてのバイナリ分類器を提案し、モデルの信頼度スコアを信号として使用してメンバーシップインファレンスを実行する。
• 2つの攻撃戦略を採用する：ベイズ攻撃（クラス条件付き確率密度に基づく）とモデル正確度閾値（MAT）攻撃（訓練集合とホールドアウト集合の損失分布の差異を利用）。
• 訓練集合とホールドアウト集合の損失の累積分布関数（CDF）を用い、最適な閾値 τ を計算し、次の式により攻撃正確性を最大化する：$ \text{accuracy} = \frac{1}{2} + \frac{1}{2}(F_{\text{train}}(\tau) - F_{\text{heldout}}(\tau)) $。
• VGG-16 および ResNet-101 を用いて、ImageNet および YFCC-100M で、データオーグメンテーションのレベル（なし、フリップ＋クロップ±5、フリップ＋クロップ）を変えて実験を実施。
• 部分層攻撃のため、欠落している上位層を公開データを用いて再学習し、残りの特徴表現に対してベイズまたはMAT攻撃を適用する。
• 最終ブロックやResNetの4番目のステージなど、異なるネットワーク層での攻撃性能を評価することで、低層部における記憶保持の程度を分析する。

実験結果

リサーチクエスチョン

• RQ1 ResNet-101 や VGG-16 といった現代のConvNetsは、強力なデータオーグメンテーションが適用されても、特定の訓練画像をどれくらい記憶しているのか。
• RQ2 訓練データセットが大きく、オーグメンテーションが施されている場合でも、モデルが検証セットのサブセットで訓練されたかどうかをメンバーシップインファレンス攻撃で検出できるか。
• RQ3 微調整や転移学習済みモデルのように、最終層へのアクセスが制限される状況でも、中間層からの特徴表現を用いてメンバーシップインファレンスを効果的に行えるか。
• RQ4 ランダムクロップやフリップなどのデータオーグメンテーションは、記憶能力とメンバーシップインファレンス攻撃の成功率にどのように影響するか。
• RQ5 ConvNetが明示的に記憶できる画像数の上限は何か。また、これはモデル容量や最適化ダイナミクスとどのように関係しているか。

主な発見

• データオーグメンテーションなしでは、ResNet-101 と VGG-16 の最終層におけるメンバーシップインファレンス攻撃の正確性はそれぞれ90.4%および90.8%に達し、強い記憶が確認された。
• 完全なデータオーグメンテーション（フリップ＋クロップ±5）を適用した場合、攻撃正確性はResNet-101で77.4%、VGG-16で79.5%に低下し、データオーグメンテーションが記憶漏洩を軽減することが示された。
• 最終ブロックの特徴量のみが利用可能な状況（例：微調整後）でも、攻撃正確性はResNet-101で53.1%、VGG-16で51.7%に達し、中間層が検出可能な記憶信号を保持していることが示された。
• 最小限のオーグメンテーションで学習したモデルでは、中間層（例：ResNetの4番目のステージ）でのメンバーシップインファレンスが65.7%の正確性を達成し、低層部が顕著な記憶を保持していることが明らかになった。
• MAT攻撃はランダム推測を上回り、さまざまなアーキテクチャやオーグメンテーションレベルにおいても安定して50%以上の正確性を示し、強力な耐性を持つことが確認された。
• 本研究は、データオーグメンテーションが、ImageNet などの大規模データセットにおいてメンバーシップインファレンス攻撃の成功率を顕著に低下させることから、プライバシー保護技術として有効である実証的証拠を提供した。