[論文レビュー] Adversarial Attacks on Variational Autoencoders

George Gondim-Ribeiro, Pedro Tabacof+1 more|arXiv (Cornell University)|Jun 12, 2018

Adversarial Robustness in Machine Learning参考文献 24被引用数 20

ひとこと要約

本論文は、変分オートエンコーダー（VAEs）向けに、主観的評価を回避する定量的評価を可能にする新しい敵対的攻撃フレームワークを提案する。AUDDCという指標を導入し、攻撃の成功度を定量的に評価する。MNIST、SVHN、CelebAのデータセットにおいて、DRAW（注意機構を備えた再帰的VAE）は、全結合型および畳み込み型VAEと比較して著しく高い耐性を示す。再帰構造と注意機構の両方が、この耐性に寄与していることが判明した。

ABSTRACT

Adversarial attacks are malicious inputs that derail machine-learning models. We propose a scheme to attack autoencoders, as well as a quantitative evaluation framework that correlates well with the qualitative assessment of the attacks. We assess --- with statistically validated experiments --- the resistance to attacks of three variational autoencoders (simple, convolutional, and DRAW) in three datasets (MNIST, SVHN, CelebA), showing that both DRAW's recurrence and attention mechanism lead to better resistance. As autoencoders are proposed for compressing data --- a scenario in which their safety is paramount --- we expect more attention will be given to adversarial attacks on them.

研究の動機と目的

• 自己符号化器における敵対的攻撃のための体系的評価フレームワークの欠如に応えること。自己符号化器はデータ圧縮にますます利用されており、強固なセキュリティ保証が求められる。
• 主観的または曖昧な成功基準に依存しない、統計的に検証された定量的評価手法を確立し、自己符号化器における敵対的攻撃の有効性を評価すること。
• 特に再帰構造と注意機構を含む、自己符号化器のアーキテクチャ的要素が敵対的攻撃に対する耐性に与える影響を調査すること。
• MNIST、SVHN、CelebAという3つの多様なデータセット上で、3つのVAEバリアント（単純型、畳み込み型、DRAW）の耐性を、制御された統計的に検証された実験条件下で評価すること。

提案手法

• 入力の歪みを最小限に抑えつつ、ターゲット画像を再構築できるように潜在表現または出力層を操作する、標的攻撃スキームを提案する。
• 入力の歪みと出力の歪みをプロットした曲線の下側面積として計算されるAUDDC（歪み-歪み曲線下の面積）という指標を導入し、攻撃性能の定量的評価を実施する。
• 正則化に基づく最適化フレームワークを用い、入力の歪みとターゲット再構築の忠実度のバランスをとる。正則化定数を調整することで、視覚的および定量的分析に適した中央付近の攻撃を特定する。
• モデル、データセット、攻撃設定の各要因における攻撃性能の差を統計的に検証するため、分散分析（ANOVA）に続く多重比較検定（Tukey検定）を用いる。
• 全結合VAE、畳み込みVAE、DRAW（再帰的VAEに注意機構を備えたもの）という3つのVAEアーキテクチャに攻撃を適用し、MNIST、SVHN、CelebAで評価する。
• 歪み-歪みプロットと左右対照の画像比較を用いて、攻撃成功度とモデルの耐性を定性的に可視化する。

実験結果

リサーチクエスチョン

• RQ1 明確な成功基準が欠如する中で、自己符号化器に対する敵対的攻撃をどのように体系的に評価できるか？
• RQ2 VAEにおける再帰構造や注意機構といったアーキテクチャ的要素が、敵対的攻撃に対する耐性をどの程度向上させるか？
• RQ3 同一の攻撃条件下で、異なるデータセット（MNIST、SVHN、CelebA）におけるモデルの耐性はどのように変動するか？
• RQ4 VAEの内在的生成品質と、敵対的操作に対する耐性の間に相関関係があるか？
• RQ5 全結合型、畳み込み型、DRAWという異なるVAEアーキテクチャは、標的敵対的攻撃に対して、どのように脆弱性の度合いが異なるか？

主な発見

• DRAW（再帰的VAEに注意機構を備えたもの）は、MNIST、SVHN、CelebAの3つのデータセットすべてにおいて、全結合型および畳み込み型VAEと比較して著しく高い耐性を示した。
• アブレーション実験により、DRAWの強化された耐性は、再帰構造と注意機構の両方が不可欠な貢献要因であることが確認された。
• AUDDC指標は、攻撃成功の定性的な人間の認識と強く相関しており、信頼性の高い定量的評価ツールとしての有効性が裏付けられた。
• SVHNは攻撃が最も簡単だった一方、CelebAはより複雑であるにもかかわらず最も耐性が高かった。これは、データセット固有の要因がモデルアーキテクチャを越えて攻撃の難易度に影響を与えることを示唆している。
• 入力の歪みが人間の認識に及ぼす影響がほとんどない状態でターゲット画像を再構築する攻撃は、すべて失敗に終わった。これは、自己符号化器に対する攻撃が分類器に対する攻撃よりも根本的に困難であることを確認した。
• 分散分析（ANOVA）に続く多重比較検定（Tukey検定）による統計的分析により、すべてのモデル、データセット、攻撃設定要因において、攻撃性能に有意差（p < 0.015）が確認された。これにより、実験的発見の信頼性が裏付けられた。