[論文レビュー] Deep Learning Defenses Against Adversarial Examples for Dynamic Risk Assessment

Xabier Echeberria-Barrio, Amaia Gil-Lerchundi+2 more|arXiv (Cornell University)|Jul 2, 2020

Adversarial Robustness in Machine Learning参考文献 13被引用数 6

ひとこと要約

本稿では、動的リスク評価に用いられる深層学習モデルにおける adversarial 攻撃に対する2つの新しい防御手法——自己符号化器を用いた次元削減と、画像履歴に基づく予測類似性——を提案する。これらの防御は、モデルの頑健性を向上させつつ正確性を維持することを示しており、特に予測類似性は新しい adversarial 例の99.5％を検出できた。

ABSTRACT

Deep Neural Networks were first developed decades ago, but it was not until recently that they started being extensively used, due to their computing power requirements. Since then, they are increasingly being applied to many fields and have undergone far-reaching advancements. More importantly, they have been utilized for critical matters, such as making decisions in healthcare procedures or autonomous driving, where risk management is crucial. Any mistakes in the diagnostics or decision-making in these fields could entail grave accidents, and even death. This is preoccupying, because it has been repeatedly reported that it is straightforward to attack this type of models. Thus, these attacks must be studied to be able to assess their risk, and defenses need to be developed to make models more robust. For this work, the most widely known attack was selected (adversarial attack) and several defenses were implemented against it (i.e. adversarial training, dimensionality reduc tion and prediction similarity). The obtained outcomes make the model more robust while keeping a similar accuracy. The idea was developed using a breast cancer dataset and a VGG16 and dense neural network model, but the solutions could be applied to datasets from other areas and different convolutional and dense deep neural network models.

研究の動機と目的

• 医療や自動運転などの高リスクな応用分野で使用される深層学習モデルに対する adversarial 攻撃が引き起こす深刻なリスクに対処すること。
• 特に新しい adversarial 例に対して、既存の防御（特に adversarial training）の効果を評価・比較すること。
• より高い頑健性とリスク検出能力を実現するための2つの新しい予防的防御——次元削減と予測類似性——を提案・検証すること。
• 安全上の重要なシステムにおけるリアルタイム意思決定を可能にする動的リスク評価フレームワークにこれらの防御を統合すること。

提案手法

• VGG16 および密度層ネットワークを用い、乳がんデータセットで学習したモデルに adversarial 攻撃（FGSM、PGD）を適用した。
• adversarial training を実装し、生成された adversarial 例を再学習に用いて分類の頑健性を向上させた。
• ノイズのフィルタリングと入力摂動の低減を目的として、エンコーダ・デコーダ層を挿入することで、自己符号化器に基づく次元削減を統合した。
• 履歴画像埋め込みと類似度メトリクス（SSIM）を用いて、adversarial 入力を検出する予測類似性防御を構築した。
• 類似度のベースライン指標として、平均二乗誤差（MSE）とピークノイズ比（PSNR）を用い、検出の主指標として SSIM を採用した。
• 防御の有効性を評価するため、既知（初期）および新たに生成された adversarial 例の両方を用いて、頑健性と検出能力を評価した。

実験結果

リサーチクエスチョン

• RQ1 adversarial training、次元削減、予測類似性は、既知の adversarial 例に対してどれほど効果的か？
• RQ2 自己符号化器を用いた次元削減は、adversarial ノイズを視覚的に認識可能にすることで、モデルの脆弱性を低減できるか？
• RQ3 ベースモデルアーキテクチャを変更せずに、予測類似性はどれほど新しい adversarial 例を検出できるか？
• RQ4 これらの防御は、新たに生成された adversarial 攻撃に対して、正確性の保持と頑健性の両面でどの程度の性能を示すか？
• RQ5 予測類似性は、安全上の重要な AI システムにおける動的リスク評価の入力として実用的か？

主な発見

• adversarial training は、既知の adversarial 例に対して92.0％の防御効果を示したが、新しい adversarial 例への一般化には失敗した。
• 中央の自己符号化器層を用いた次元削減により、adversarial の成功確率は39.6％（60.4％の防御率）に低下し、生成された adversarial 画像ではノイズが視覚的に認識可能になった。
• 予測類似性防御は、SSIM メトリクスを用いて画像類似度を測定することで、新しい adversarial 例の99.5％を検出できた。
• エンコーダベースの防御は初期 adversarial に対して64.3％の防御率を達成し、初期自己符号化器（70.5％）と adversarial training（92.0％）に比べ、新しい攻撃の検出性能が優れていた。
• 予測類似性は、モデルアーキテクチャを変更せず、非侵襲的かつ外部的な層として攻撃検出に利用可能であり、リスク評価ワークフローに統合可能であった。
• 提案された防御は、モデルの正確性を維持しながら顕著に頑健性を向上させた。特に予測類似性は、新規攻撃に対する検出性能が最も高かった。