[論文レビュー] Targeted Nonlinear Adversarial Perturbations in Images and Videos

Roberto Rey-de-Castro, Herschel Rabitz|arXiv (Cornell University)|Aug 27, 2018

Adversarial Robustness in Machine Learning参考文献 24被引用数 8

ひとこと要約

本稿では、深層畳み込みニューラルネットワークを用いて、個々の画像および動画に対して標的的でスパースかつ詳細な敵対的摂動を学習する手法を提案する。これらの摂動は、人間が識別可能なクラスの同一性を保ちながら、深層学習モデルを誤分類へと誘導する効果的であり、モデルの意思決定プロセスの理解、より良いデータ拡張、およびスパースウェーブレット係数に基づく新しい圧縮方式の実現を可能にする。

ABSTRACT

We introduce a method for learning adversarial perturbations targeted to individual images or videos. The learned perturbations are found to be sparse while at the same time containing a high level of feature detail. Thus, the extracted perturbations allow a form of object or action recognition and provide insights into what features the studied deep neural network models consider important when reaching their classification decisions. From an adversarial point of view, the sparse perturbations successfully confused the models into misclassifying, although the perturbed samples still belonged to the same original class by visual examination. This is discussed in terms of a prospective data augmentation scheme. The sparse yet high-quality perturbations may also be leveraged for image or video compression.

研究の動機と目的

• 深層畳み込みニューラルネットワークが分類意思決定を行うメカニズムをより深く理解できるように、スパースかつ特徴の詳細が豊富な敵対的摂動を生成する手法を開発すること。
• 摂動を繰り返しデータ拡張戦略に活用することで、微細ながもたらす影響を受けるが、モデルのロバストネスを向上させること。
• 摂動によって露わになる顕著な特徴を抽出することで、物体またはアクティビティの認識およびモデル予測の解釈を可能にすること。
• 最適な敵対的摂動のスパarsityに着目した新しい画像および動画圧縮アプローチを検討し、最小限の係数から近似的な再構成を可能にすること。

提案手法

• 各入力サンプル X^(i) に対して、深層畳み込みニューラルネットワーク (P^(i)) を訓練し、モデル出力を最大限に変化させるが、元の入力からのずれを最小限に抑える標的摂動 δ^(i) を生成する。
• 摂動 δ^(i) は δ^(i) = X^(i) - P^(i)(X^(i)) として計算され、スパース性はしきい値処理またはウェーブレット変換により強制され、スパース係数集合 ω^(i) = T(W(δ^(i))) が抽出される。
• 再構成ネットワーク R を訓練し、スパース係数 ω^(i) を元に近似的な再構成 χ^(i) = R(W^(-1)(ω^(i))) を得る。逆畳み込みおよび畳み込み層を用いて構造的文脈を回復する。
• ウェーブレット変換 (W) としきい値処理 (T) を統合することで、摂動情報が最小限かつ意味のある表現に圧縮され、モデルの意思決定に不可欠な特徴のみが保持される。
• モデルが入力の微細な変化に不変であるように学習するため、敵対的摂動データを用いた反復的訓練手順を提案する。摂動は人間には見えにくく、モデルには極めて破壊的であるように設計される。
• 動画圧縮のため、フレーム間のピクセル変化を抑えるための時間的整合性損失を提案し、滑らかで一貫性のある再構成を促進する。

実験結果

リサーチクエスチョン

• RQ1 個々の画像および動画に対して、標的的でスパースかつ高精細な敵対的摂動を学習可能であり、深層モデルが分類に依存する特徴を露わにできるか？
• RQ2 これらの摂動は、モデルの誤分類を引き起こす一方で、人間が識別可能なクラス同一性をどれほど保持しているか。この性質は、データ拡張にどのように活用できるか？
• RQ3 学習された摂動のスパース性と構造的詳細は、高精細な視覚的再構成を可能にするスパース係数集合から画像や動画を再構成するために利用可能か？
• RQ4 摂動生成プロセスは、再構成時の時間的整合性を保つために動画データにどのように適応可能か？

主な発見

• 学習された敵対的摂動はスパースであるが、高品質な特徴の詳細を保持しており、人間の視覚的検査において元のクラスを識別可能に保ちながら、深層ニューラルネットワークの出力を誤分類する。
• 摂動はモデルが分類に使用する最も顕著な特徴を露わにし、モデルの意思決定プロセスに対する解釈可能なインサイトを提供する。
• 本手法により、入力データにこれらの顕著な特徴が存在するかを検出することで、物体またはアクティビティの認識が可能になる。
• ウェーブレット変換されたスパース係数 ω^(i) は摂動 δ^(i) からの本質的情報を捉えており、訓練済みの再構成ネットワーク R を用いて元の画像や動画の近似的な再構成が可能である。
• 再構成ネットワーク R がトレーニング中に過学習させられると、背景が一貫した動画の低帯域幅伝送において再構成品質が向上する。
• 本手法による圧縮方式は、入力のモデル関連特徴を符号化するスパースウェーブレット係数 ω^(i) のみを送信することで、顕著なデータ圧縮を達成する。