[論文レビュー] DISCO: Adversarial Defense with Local Implicit Functions

Chih-Hui Ho, Nuno Vasconcelos|arXiv (Cornell University)|Dec 11, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

DISCOは、深層特徴に条件付けられた局所的パッチ統計をモデル化することで、敵対的摂動を自然画像多様体に戻すために局所的暗黙関数を用いる画期的な敵対的防御を提案する。複数のデータセットおよび攻撃において、ブラックボックス設定でさえも、高いデータおよびパrameter効率を達成し、グローバルな生成モデルと比較して局所的で軽量なモデリングにより高速な推論を実現する。

ABSTRACT

The problem of adversarial defenses for image classification, where the goal is to robustify a classifier against adversarial examples, is considered. Inspired by the hypothesis that these examples lie beyond the natural image manifold, a novel aDversarIal defenSe with local impliCit functiOns (DISCO) is proposed to remove adversarial perturbations by localized manifold projections. DISCO consumes an adversarial image and a query pixel location and outputs a clean RGB value at the location. It is implemented with an encoder and a local implicit module, where the former produces per-pixel deep features and the latter uses the features in the neighborhood of query pixel for predicting the clean RGB value. Extensive experiments demonstrate that both DISCO and its cascade version outperform prior defenses, regardless of whether the defense is known to the attacker. DISCO is also shown to be data and parameter efficient and to mount defenses that transfers across datasets, classifiers and attacks.

研究の動機と目的

• 自然画像多様体の外側に位置する人間が感知できない敵対的摂動による深層ニューラルネットワークの脆弱性を解消すること。
• 大規模なデータセットおよびモデルを必要とし、容易に破壊されるグローバルな生成モデルの限界を克服すること。
• 白ボックスおよびブラックボックス設定を含め、さまざまな攻撃、データセット、分類器に対して耐性を示す防御を構築すること。
• 深層特徴に条件付けられた暗黙関数を用いた局所的で効率的な多様体への投影を実現し、データおよびパrameter要件を低減すること。

提案手法

• DISCOは二段階のアーキテクチャを採用する：敵対的画像からの画素単位の特徴を抽出する深層残差エンコーダ。
• 局所的暗黙関数は、クエリ画素とその近傍特徴を入力として、その位置におけるクリアなRGB値を予測する。
• 暗黙関数はL1損失を用いて訓練され、予測値と真値のクリア画素値との差を最小化する。
• グローバルな画像再構築ではなく、画素単位で局所的な多様体への投影を実行することで、モデリングを簡素化し、精度を向上させる。
• 防御は局所的パッチ統計の条件付きモデルとして実装され、最小限のパrameterおよびデータのオーバーヘッドで耐性を実現する。
• カスケード版（K=2から5）では、複数のリファインメントステップを適用して耐性をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 画像パッチ統計の局所的で暗黙的なモデリングは、敵対的防御におけるグローバルな生成モデルの代替として、より耐性があり、効率的であると期待できるか？
• RQ2 局所的多様体への投影に基づく防御は、ホワイトボックスおよびブラックボックスの両方の攻撃状況で、既存の防御を上回る性能を示すか？
• RQ3 軽量で暗黙関数に基づく防御は、さまざまなデータセット、分類器、攻撃タイプに一般化可能か？
• RQ4 カスケードアーキテクチャにおけるリファインメントステップ数（K）の増加に伴い、DISCOの性能はどのように変化するか？
• RQ5 先行手法と比較して、DISCOは最小限のデータおよびパrameter要件でどれほど耐性を達成できるか？

主な発見

• DISCOは、ImageNet、CIFAR-10、CIFAR-100の全データセットで、ホワイトボックスおよびブラックボックス攻撃の両方において、すべての先行防御を上回る。
• AutoAttack下でのImageNetにおける耐性精度は85.2%に達し、先行する最先端の防御を上回る。
• 単一のリファインメントステップ（K=1）でも強力な耐性を示しており、グローバルな画像モデリングは必須でないことが示された。
• ImageNetにおける推論時間は、STLの23.71秒と比較して0.027秒と800倍以上高速であり、高い効率性を示している。
• 攻撃者にとって防御の詳細が不明な状況でも、データセットおよび分類器をまたいで一般化され、転送可能な耐性を示している。
• ImageNetではたった3エポックの学習と最小限のデータで高い性能を維持しており、データおよびパrameter効率が証明された。