[論文レビュー] Robust or Private? Adversarial Training Makes Models More Vulnerable to Privacy Attacks

Felipe A. Mejia, Paul Gamble+5 more|arXiv (Cornell University)|Jun 15, 2019

Adversarial Robustness in Machine Learning参考文献 16被引用数 9

ひとこと要約

この論文は、敵対的攻撃に対するモデルの頑健性を向上させることを目的とした敵対的訓練が、モデルの逆転攻撃に対する脆弱性を顕著に高めることを示している。これは、かつては不可能とされていた訓練データの再構築を可能にする。主な発見は、頑健なモデルがより意味的に明確な活性化を示すため、逆転が容易になる一方、従来の訓練モデルでは敵対的例が活性化を曇らせるため、逆転が困難になることである。

ABSTRACT

Adversarial training was introduced as a way to improve the robustness of deep learning models to adversarial attacks. This training method improves robustness against adversarial attacks, but increases the models vulnerability to privacy attacks. In this work we demonstrate how model inversion attacks, extracting training data directly from the model, previously thought to be intractable become feasible when attacking a robustly trained model. The input space for a traditionally trained model is dominated by adversarial examples - data points that strongly activate a certain class but lack semantic meaning - this makes it difficult to successfully conduct model inversion attacks. We demonstrate this effect using the CIFAR-10 dataset under three different model inversion attacks, a vanilla gradient descent method, gradient based method at different scales, and a generative adversarial network base attacks.

研究の動機と目的

• 深層学習モデルにおける敵対的頑健性とデータプライバシーのトレードオフを調査すること。
• 敵対的訓練モデル（ATM）が従来の訓練モデル（TTM）よりもモデル逆転攻撃に対してより脆弱であるかどうかを評価すること。
• 従来の訓練モデルにおける敵対的例の存在が、なぜモデル逆転を妨げるのかを分析すること。
• 特徴類似度とL2距離の指標を用いて、モデル逆転攻撃の成功度を定量化すること。
• 頑健なモデルにおける逆転過程で漏洩する視覚的特徴（例：色、形状、背景）を特定すること。

提案手法

• CIFAR-10上で3つの画像分類モデルを訓練した：従来の訓練モデル2つ（TTM-VGG16 と TTM-Res）と敵対的訓練モデル1つ（ATM-Res）。敵対的訓練は標準的なミニマックス定式化とL2ノイズを用いた。
• 3つのモデル逆転攻撃を適用した：通常の勾配降下法、異なるスケールでの勾配ベース最適化、GANベースの攻撃。
• 逆転の成功度は、最後の畳み込み層からの訓練データ特徴と逆転画像との間のコサイン類似度を計算し、その後、類似する訓練画像とのL2距離を測定することで評価した。
• 敵対的半径（ノイズの大きさ）を変化させ、敵対的頑健性とプライバシー漏洩への影響を評価した。
• 再構築結果を、物体の形状、背景、ロゴなどの特徴が保持されているか、曇っているかを定性的に分析した。
• 逆転可能性の差を説明するため、TTMとATMの活性化パターンを比較分析した。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、従来の訓練と比較してモデル逆転攻撃に対する脆弱性を高めるか？
• RQ2 なぜモデル逆転攻撃は従来の訓練モデルでは効果がなく、敵対的訓練モデルでは可能になるのか？
• RQ3 従来の訓練モデルにおける敵対的例は、逆転プロセスをどのように妨げるのか？
• RQ4 敵対的訓練モデルからの再構築画像は、物体の形状や色といった意味的特徴をどの程度保持するか？
• RQ5 特徴レベルの類似度とL2距離の指標は、モデル逆転攻撃の成功度を効果的に定量化できるか？

主な発見

• 敵対的訓練モデル（ATM-Res）は、従来の訓練モデル（TTM-VGG16 と TTM-Res）よりも顕著にモデル逆転攻撃に対して脆弱であり、物体の形状や色といった意味的特徴の再構築に成功した。
• 従来の訓練モデルでは、入力空間に意味のない敵対的例が優勢であるため、モデル逆転攻撃は意味のある再構築を生じさせなかった。
• ATM-Resモデルはバリデーション精度84.9%、トレーニング精度95.7%を達成したが、それでも再構築においてボートの形状や車の輪郭といった識別可能な特徴を漏洩した。
• 訓練画像を初期化として使用した場合、ATMは安定した意味的に整合性のある再構築を生成し、重要な特徴を強調したが、TTMは入力を敵対的例に変換したにとどまった。
• 逆転画像と最も類似する訓練画像とのL2距離は、ATMの方がTTMよりも顕著に低く、逆転の成功度が高かったことを示している。
• 背景特徴は一般的にプライベートに保たれたが、一貫した前面特徴（例：水上のボート、道路の車）は信頼性高く再構築されたため、構造的パターンにおけるプライバシー漏洩が生じた。