[論文レビュー] DeepFense: Online Accelerated Defense Against Adversarial Deep Learning

Bita Darvish Rouhani, Mohammad Samragh+3 more|arXiv (Cornell University)|Sep 8, 2017

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

DeepFenseは、深層ニューラルネットワークの潜在的特徴空間におけるめったに探索されない領域を特定することで、リアルタイムで敵対的入力を検出するエンドツーエンドでハードウェアアクセラレートされた非教師あり防御フレームワークを提案する。悪意のないデータのみで訓練されたモジュラーで頑健な再冗長性を用いることで、CPUオンリープラットフォームと比較してFPGA上で最大193倍のパフォーマンス・ワット比を達成し、モデルの精度を損なわずに効率的なオンライン検出を可能にする。

ABSTRACT

Recent advances in adversarial Deep Learning (DL) have opened up a largely unexplored surface for malicious attacks jeopardizing the integrity of autonomous DL systems. With the wide-spread usage of DL in critical and time-sensitive applications, including unmanned vehicles, drones, and video surveillance systems, online detection of malicious inputs is of utmost importance. We propose DeepFense, the first end-to-end automated framework that simultaneously enables efficient and safe execution of DL models. DeepFense formalizes the goal of thwarting adversarial attacks as an optimization problem that minimizes the rarely observed regions in the latent feature space spanned by a DL network. To solve the aforementioned minimization problem, a set of complementary but disjoint modular redundancies are trained to validate the legitimacy of the input samples in parallel with the victim DL model. DeepFense leverages hardware/software/algorithm co-design and customized acceleration to achieve just-in-time performance in resource-constrained settings. The proposed countermeasure is unsupervised, meaning that no adversarial sample is leveraged to train modular redundancies. We further provide an accompanying API to reduce the non-recurring engineering cost and ensure automated adaptation to various platforms. Extensive evaluations on FPGAs and GPUs demonstrate up to two orders of magnitude performance improvement while enabling online adversarial sample detection.

研究の動機と目的

• 自律走行車両やドローンなどの安全に重要な時間制約のある深層学習アプリケーションにおける、リアルタイムでオンラインで防御できる必要性に対処すること。
• 白ボックス攻撃環境下で失敗する既存の防御手法の限界を克服し、リアルタイム展開に適したハードウェアアクセラレーションを提供すること。
• 敵対的訓練データを必要とせず、元のモデルの精度を維持する非教師ありでモジュラーかつハードウェア最適化された防御を構築すること。
• ハードウェア/ソフトウェア/アルゴリズムの共同設計により、リソース制約のあるプラットフォーム（例：FPGA）上で防御機構を効率的にすばやく実行可能にすること。
• 高レベルのDNN記述をターゲットハードウェア用に最適化された防御レイアウトに変換できるAPIを備えた、自動的でポータブルかつ拡張可能なフレームワークを提供すること。

提案手法

• DeepFenseは、深層ニューラルネットワークの活性化における潜在的特徴空間におけるめったに観測されない領域を最小化する最適化問題として、敵対的防御を定式化する。
• 各モジュールが特定のレイヤーにおける通常のデータポイントの確率密度関数（PDF）を学習し、低密度で「危険な」領域にある入力を敵対的とマークする、モジュラー頑健な再冗長性（MRR）を導入する。
• MRRモジュールは、被害者のDNN推論と並列に動作するため、訓練時に敵対的例を必要とせず、リアルタイムでオンラインで入力サンプルを検証可能である。
• フレームワークは、FPGA上のデータパスとメモリアクセスパターンを最適化することで、スループットとエネルギー効率を最大化するハードウェア/ソフトウェア/アルゴリズム共同設計アプローチを採用する。
• ユーザー定義またはハードウェア制約に基づくトレードオフに応じて、動的に頑健性とパフォーマンスをバランスさせるカスタマイズ可能なアクセラレータパイプラインを用いる。
• 併せて提供されるAPIにより、高レベルのDNN記述をターゲットハードウェア用に最適化された防御レイアウトに自動変換し、プラットフォームに依存しない展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非教師あり防御機構は、敵対的訓練データに依存せずにリアルタイムで敵対的入力を検出可能か？
• RQ2 リソース制約のある環境で、ハードウェアアクセラレーションを活用して低遅延・高スループットのオンライン防御を実現できるか？
• RQ3 モジュラー再冗長性は、適応的白ボックス攻撃に対して、元のモデルの精度を損なわず、どの程度の頑健性向上を実現できるか？
• RQ4 FPGA固有の最適化と防御論理を共同設計することで、どの程度のパフォーマンスおよびエネルギー効率の向上が達成できるか？
• RQ5 異なるハードウェアプラットフォーム（CPU、GPU、FPGA）において、さまざまなワークロード下で、提案されたフレームワークはどの程度スケーラブルか？

主な発見

• UltraScale FPGAsでは、Jetson TK1のCPUモードと比較して、パフォーマンス・ワット比で最大193倍の向上を達成し、優れたエネルギー効率を示した。
• 悪意のあるサンプルと正常なサンプルのAUCスコアの差を、0.76から0.96に縮小し、検出能力を顕著に向上させた。
• Zynq FPGAsでは、Jetson TK1とTX2のCPUモードと比較して、それぞれ38倍および6.2倍の高速化を達成し、より強力なUltraScale FPGAsではさらに大きな向上を示した。
• 悪意のないデータでのみ非教師ありMRR訓練を実施することで、以前に観測されていなかった新たな敵対的攻撃に対しても耐性を示し、精度の低下を回避した。
• 最小限の遅延オーバーヘッドでリアルタイムかつすばやく実行可能な検出を実現し、時間制約のあるアプリケーションへの展開に適している。
• 自動化されたAPIにより、さまざまなDNNアーキテクチャとFPGAプラットフォームへの防御フレームワークのシームレスかつ低コストな適応が可能になった。