[論文レビュー] Denoising Dictionary Learning Against Adversarial Perturbations

John Mitro, Derek Bridge+1 more|arXiv (Cornell University)|Jan 7, 2018

Adversarial Robustness in Machine Learning被引用数 3

ひとこと要約

本稿では、深層ニューラルネットワークにおける adversarial perturbations に対する防御として、ノイズ除去辞書学習（DDL）を提案する。adversarially perturbed 入力を元に綺麗な画像を再構築するための冗長的かつ過完備な辞書を学習することで、MLP、CNN、ResNet、HRNN といった多様なアーキテクチャを対象として、MNIST および CIFAR10 で高い信頼度の正しい予測を達成し、堅牢性が顕著に向上する。

ABSTRACT

We propose denoising dictionary learning (DDL), a simple yet effective technique as a protection measure against adversarial perturbations. We examined denoising dictionary learning on MNIST and CIFAR10 perturbed under two different perturbation techniques, fast gradient sign (FGSM) and jacobian saliency maps (JSMA). We evaluated it against five different deep neural networks (DNN) representing the building blocks of most recent architectures indicating a successive progression of model complexity of each other. We show that each model tends to capture different representations based on their architecture. For each model we recorded its accuracy both on the perturbed test data previously misclassified with high confidence and on the denoised one after the reconstruction using dictionary learning. The reconstruction quality of each data point is assessed by means of PSNR (Peak Signal to Noise Ratio) and Structure Similarity Index (SSI). We show that after applying (DDL) the reconstruction of the original data point from a noisy

研究の動機と目的

• 深層ニューラルネットワークが adversarial perturbations に起因する高信頼度の誤分類に対して脆弱であるという問題に対処すること。
• 元データおよび変換済みデータの保存を必要とせず、堅牢で柔軟かつ可逆な防御メカニズムを構築すること。
• 多様な複雑さとトポロジーを持つ DNN アーキテクチャにおいて、辞書学習の有効性を評価すること。
• PSNR および SSIM を用いた再構築品質の評価を通じて、ノイズ除去後の意味的および構造的整合性を保証すること。
• DDL が、推論時に綺麗な訓練データにアクセスしない状態でも、重度に歪んだテストサンプルからも元の綺麗な入力を回復できることを示すこと。

提案手法

• ノイズ除去辞書学習（DDL）を用いて、adversarially perturbed 入力から綺麗な画像を学習した過完備な辞書を用いて再構築する。
• 各歪んだ画像を辞書の原子のスパース線形結合として表現するためのスパースコーディング問題を解く。
• 歪んだ入力を学習済み辞書に射影し、スパース係数を用いて再構築することで、再構築を実現する。
• 辞書は綺麗なデータのみで学習されるため、ノイズ付きの訓練例を必要とせず、歪んだテストサンプルにも一般化可能である。
• このアプローチはアーキテクチャに依存せず、下位の DNN を変更せずに任意の教師あり学習パイプラインに統合可能である。
• 再構築品質は PSNR および SSIM を用いて評価され、ノイズ除去後の構造的および信号の整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去辞書学習は、FGSM および JSMA 攻撃下で adversarially perturbed 入力から綺麗な画像を効果的に回復できるか？
• RQ2 DDL は、複雑さやトポロジーが異なる多様な深層ニューラルネットワークアーキテクチャでどのように動作するか？
• RQ3 ベースラインモデルと比較して、DDL は歪んだテストデータにおける分類精度をどの程度向上させるか？
• RQ4 PSNR および SSIM で測定した再構築品質と、モデルの堅牢性向上の相関関係はいかほどか？
• RQ5 DDL は、元データおよび変換済みデータの保存を必要とせず、柔軟で可逆的かつ計算効率の良い防御メカニズムとして機能できるか？

主な発見

• DDL を適用した後、FGSM で歪められた MNIST における分類精度は 12.80% から 82% に向上し、CIFAR10 では 15.06% から 68.29% に向上した。
• JSMA で歪められたデータでは、MNIST における精度が 53.02% から 60% に、CIFAR10 では 14.59% から 67.23% に向上した（複数のモデルで評価）。
• オートエンコーダおよび ResNet モデルが最も顕著な向上を示し、それぞれ FGSM-MNIST で 29.45% および 23.01% の精度向上を達成した。
• 再構築品質は高く、PSNR および SSIM の値から、ノイズ除去後の画像に強い構造的および信号の整合性が確認された。
• 微細な画像の特徴に敏感なモデル（例：ResNet）は、摂動に対してより脆弱であったが、DDL の恩恵を著しく受けた。
• 強力な摂動下でも、DDL は元の綺麗な入力を効果的に回復でき、ノイズ除去後の高信頼度の正しい予測を可能にした。