[論文レビュー] PeerNets: Exploiting Peer Wisdom Against Adversarial Attacks

Jan Svoboda, Jonathan Masci+3 more|arXiv (Cornell University)|May 31, 2018

Adversarial Robustness in Machine Learning参考文献 45被引用数 19

ひとこと要約

PeerNets は、データに由来するグラフ上で同士のサンプル関係を活用する新たな深層学習アーキテクチャを導入し、ユークリッド畳み込みとグラフ畳み込みを交互に適用することで、非局所的な特徴伝搬を実現する。この手法により、白ボックスおよびブラックボックス攻撃に対して最大3倍の高い耐性を示し、標準精度の低下を最小限に抑えつつ、普遍的および標的付き摂動における誤導率を顕著に低下させる。

ABSTRACT

Deep learning systems have become ubiquitous in many aspects of our lives. Unfortunately, it has been shown that such systems are vulnerable to adversarial attacks, making them prone to potential unlawful uses. Designing deep neural networks that are robust to adversarial attacks is a fundamental step in making such systems safer and deployable in a broader variety of applications (e.g. autonomous driving), but more importantly is a necessary step to design novel and more advanced architectures built on new computational paradigms rather than marginally building on the existing ones. In this paper we introduce PeerNets, a novel family of convolutional networks alternating classical Euclidean convolutions with graph convolutions to harness information from a graph of peer samples. This results in a form of non-local forward propagation in the model, where latent features are conditioned on the global structure induced by the graph, that is up to 3 times more robust to a variety of white- and black-box adversarial attacks compared to conventional architectures with almost no drop in accuracy.

研究の動機と目的

• 自律走行などの安全が求められる応用分野において顕著な脆弱性を示す深層ニューラルネットワークの敵対的攻撃に対する耐性を高めること。
• 標準精度を損なうことなく、ホワイトボックスおよびブラックボックス攻撃の両方に対して耐性を向上させること。
• データグラフを介した非局所的特徴伝搬が、モデルの耐性を向上させる有効な正則化因子として機能するかどうかを検証すること。
• 既存の CNN に簡単に統合可能な、プラグアンドプレイ型のアーキテクチャを開発すること。
• 同士のサンプル相互作用が、敵対的摂動の構造および人間が認識しやすい特徴に与える影響を調査すること。

提案手法

• PeerNets は、標準畳み込み層と、トレーニングサンプルのk近傍（KNN）グラフ上でグラフ畳み込み操作を実行するペア正則化（PR）層を交互に配置する。
• KNN グラフは、前の層からの特徴埋め込みに基づいて構築され、意味的に類似したサンプル間で非局所的な特徴集約を可能にする。
• 各 PR 层は、学習可能な重みを用いて隣接するペアから情報を集約することで、特徴を更新するメッセージパッシングを実行する。
• グラフベースの集約を安定化させるためにモンテカルロサンプリングが用いられ、複数回の実行により耐性が向上し、分散が低減される。
• モデルは標準的な交差エントロピー損失を用いてエンドツーエンドで訓練され、グラフ構造はトレーニング中に特徴表現に基づいて動的に更新される。
• 本手法は、ResNet アーキテクチャにプラグインモジュールとして適用され、標準的な残差ブロックの代わりにペア正則化層を統合または補完する。

実験結果

リサーチクエスチョン

• RQ1 ペアサンプルのグラフを介した非局所的特徴伝搬が、敵対的攻撃に対する耐性を顕著に向上させることができるか？
• RQ2 ペア正則化は、普遍的および標的付き敵対的摂動下での深層ネットワークの誤導率にどのように影響を与えるか？
• RQ3 グラフベースのメカニズムは、敵対的ノイズの構造および人間が認識しやすい特徴にどの程度影響を与えるか？
• RQ4 ペア正則化は、過学習を防ぎながら、より高いモデル容量を許容する有効な正則化因子として機能するか？
• RQ5 グラフサイズおよびモンテカルロ実行回数の選択が、耐性と精度のトレードオフに与える影響はどの程度か？

主な発見

• PeerNets は、標準的な ResNet と比較して、敵対的攻撃に対する耐性が最大3倍に向上し、CIFAR-10 において ρ=0.10 時に誤導率が 28.8% にまで低下する（ResNet-32 では 77.34%）。
• CIFAR-100 では、500 個のグラフ近傍と5回のモンテカルロ実行を用いた PR-ResNet-110 が、ρ=0.06 時に誤導率を 49.54% まで低下させ、標準的な ResNet-110（86.56%）を大きく上回る。
• 特徴マップを2倍にした PR-ResNet-32 v2 は、元の精度が 90.72% で、ρ=0.04 時に誤導率がたった 11.05% にまで低下し、精度の低下を最小限に抑えつつ、ResNet-32 v2 よりも優れた耐性を示す。
• PeerNets の敵対的摂動は、特に背景領域に局所的かつ構造的なノイズを示し、標準モデルのランダムノイズよりも人間が認識しやすい。
• グラフベースのメカニズムは強力な正則化因子として機能し、高い容量を持つモデル（例：v2 バージョン）が過学習を回避しながら、最先端の精度に達することが可能になる。
• PeerNets は、普遍的、標的付き、非標的付き攻撃を含む多様な攻撃タイプに対して高い性能を維持し、広範なスケールの耐性を示している。