[論文レビュー] Biologically Inspired Mechanisms for Adversarial Robustness

Manish V. Reddy, Andrzej Banburski+2 more|arXiv (Cornell University)|Jun 29, 2020

Adversarial Robustness in Machine Learning参考文献 39被引用数 14

ひとこと要約

本稿では、プリマトゥス視覚系の不均一な空間的サンプリングと階層的な受容野サイズを模倣することで、畳み込みニューラルネットワークにおける adversarial なロバストネスを向上させる二つの生物学的にインスパイアされたメカニズム—非一様な網膜サンプリングとマルチスケール受容野—を提案する。これらのメカニズムにより、勾配の不透過性を引き起こさずに、PGD 攻撃および境界攻撃評価において、標準的な ResNet を上回る顕著なロバストネスが達成された。

ABSTRACT

A convolutional neural network strongly robust to adversarial perturbations at reasonable computational and performance cost has not yet been demonstrated. The primate visual ventral stream seems to be robust to small perturbations in visual stimuli but the underlying mechanisms that give rise to this robust perception are not understood. In this work, we investigate the role of two biologically plausible mechanisms in adversarial robustness. We demonstrate that the non-uniform sampling performed by the primate retina and the presence of multiple receptive fields with a range of receptive field sizes at each eccentricity improve the robustness of neural networks to small adversarial perturbations. We verify that these two mechanisms do not suffer from gradient obfuscation and study their contribution to adversarial robustness through ablation studies.

研究の動機と目的

• プリマトゥス腹側視覚ストリームからの生物学的に妥当なメカニズムが、深層ニューラルネットワークにおける adversarial なロバストネスを向上させることを調査すること。
• 現代の CNN が人間の視覚認識と比較して小さな摂動に対してはロバストであるのに対し、adversarial なロバストネスに著しいギャップを示すという問題を解決すること。
• 網膜サンプリングの非一様性とマルチスケール受容野の統合が、勾配の不透過性を引き起こさずにロバストネスを向上させるかどうかを評価すること。
• アブレーションスタディおよび adversarial 攻撃比較を通じて、これらのメカニズムの実証的妥当性を検証すること。
• adversarial なロバストネスが、より人間らしい解釈可能な特徴表現と相関しているかどうかを調査すること。

提案手法

• 固定点からの距離に応じてサンプリング密度が低下するプリマトゥス網膜の不均一な空間的サンプリングを模倣する。
• 各遠心度レベルにマルチスケール受容野を導入し、マウス視覚系の中心部から遠ざかるに従い受容野サイズが段階的に増大する様子を再現する。
• 標準的な ResNet アーキテクチャにこれらのメカニズムを統合し、一様なグリッドサンプリングの代わりに生物学的にインスパイアされたサンプリングパターンを採用する。
• 固定点を中心にスケールスペース断片を生成し、それらの間でプーリングすることで不変性を向上させる。
• PGD 攻撃および境界攻撃を、制御されたイテレーション回数で実行し、摂動の大きさと成功確率を評価することで adversarial なロバストネスを評価する。
• アブレーションスタディおよび勾配ベースの評価（例：BPDA）を実施し、ロバストネスの主張に勾配の不透過性が混入していないかを検証する。

実験結果

リサーチクエスチョン

• RQ1 非一様な網膜サンプリングは、勾配の不透過性を引き起こさずに深層ニューラルネットワークにおける adversarial なロバストネスを向上させることができるか？
• RQ2 マルチスケール受容野は、CNN における小さな adversarial 摂動に対してどの程度ロバストネスを向上させるか？
• RQ3 これらの生物学的にインスパイアされたメカニズムは、標準モデルと比較してより人間らしい特徴表現をもたらすか？
• RQ4 PGD 攻撃および境界攻撃といった強力な adversarial 攻撃下で、提案モデルは標準的な ResNet や粗い固定点モデルと比較してどの程度優れているか？
• RQ5 観察されたロバストネスは、真の adversarial 防御によるものか、勾配の不透過性のようなアーチファクトによるものか？

主な発見

• PGD（5ステップ）では、境界攻撃（1000ステップ）と比較して、網膜モデルおよび皮質固定点モデルが顕著に小さな adversarial 摂動を示した。皮質モデルでは、摂動サイズが 8.2e-06 と 2.5e-03 の差が生じた。
• 5ステップの PGD で生成された adversarial 例では、誤分類確率が約 100% に達したが、境界攻撃例では約 50% にとどまり、PGD が誤分類を最適化する上で優れていることが示された。
• BPDA 法は、標準的な PGD が成功する範囲で、大きな摂動でも adversarial 例を発見できなかった。これは、提案モデルに勾配の不透過性が存在しないことを示している。
• 境界攻撃下では、網膜モデルおよび皮質モデルが、バニラ ResNet よりも大きな摂動を必要としており、それらがよりロバストであることが示唆された。
• アブレーションスタディにより、非一様サンプリングとマルチスケール受容野の両方が、独立してロバストネスの向上に寄与していることが確認された。
• 結果は、adversarial なロバストネスが、より人間らしい特徴表現と相関していることを支持しており、ロバストモデルは特徴可視化および操作の観点で人間の認識とより良い一致を示した。