[論文レビュー] Adversarially trained neural representations may already be as robust as corresponding biological neural representations

Chong Guo, Michael J. Lee+5 more|arXiv (Cornell University)|Jun 19, 2022

Yersinia bacterium, plague, ectoparasites researchBiochemistry, Genetics and Molecular Biology被引用数 19

ひとこと要約

本研究では、霊長目下位 temporal (IT) めんずくの神経活動に対して、敵対的攻撃を直接行う手法を導入し、霊長目の生物学的神経表現が、最新の頑健に訓練された人工ニューラルネットワークと同等の敵対的感受性を示すことを明らかにした。主な発見は、ITニューロンが非常に小さな $l_2$-ノルムの摂動（$🔥 = 2.5$ まで）に脆弱であることであり、生物学的視覚が人工系よりも本質的に頑健であるという長年の仮定に挑戦するものである。

ABSTRACT

Visual systems of primates are the gold standard of robust perception. There is thus a general belief that mimicking the neural representations that underlie those systems will yield artificial visual systems that are adversarially robust. In this work, we develop a method for performing adversarial visual attacks directly on primate brain activity. We then leverage this method to demonstrate that the above-mentioned belief might not be well founded. Specifically, we report that the biological neurons that make up visual systems of primates exhibit susceptibility to adversarial perturbations that is comparable in magnitude to existing (robustly trained) artificial neural networks.

研究の動機と目的

• 霊長目の視覚系における高レベルの生物学的神経表現が、人工ニューラルネットワークよりも真に敵対的摂動に対して頑健であるかどうかを検証すること。
• 従来の神経科学的研究がランダムまたは粗い画像摂動に依存していたという制限を克服し、神経記録に対して標的的で反復的な攻撃手法を開発すること。
• 制御された $l_2$-ノルム摂動予算のもとで、個々のITニューロンと頑健に訓練された深層ニューラルネットワークのユニットとの間で、敵対的感受性を直接比較すること。
• 霊長目の視覚認識における見かけ上の頑健性が、個々のニューロンの耐性ではなく、集団レベルの誤り補正によって生じているかどうかを調査すること。

提案手法

• 霊長目の神経記録に特化した反復的投影勾配降下（PGD）攻撃を開発し、神経応答をサーヴィレート損失として用いて敵対的摂動を最適化した。
• 二段階PGD戦略を適用：まず大きな $l_2$-ボール（$2\epsilon$）で最適化し、探索性を高め、その後 $\epsilon$ で精錬して正確な摂動を達成した。
• 再起動付きシミュレーテッドアニーリングを用い、進捗が見られない場合にはステップサイズを10％ずつ減らし、最大4回まで繰り返して局所最適解から脱出を試みた。
• 霊長目視覚処理の機械的モデルを活用し、個々のITニューロンの応答シフトを最大化する画像摂動を生成した。
• $l_2$-ノルム制約のもとで最悪の摂動を最適化し、神経応答変化の下限として敵対的感受性を測定した。
• 結果を検証するため、$\epsilon = 3$ においてITニューロン、標準的なResNet50、および敵対的に訓練されたネットワーク（AT-ResNet50、AT-WRN50-4）の間で敵対的感受性を比較した。

実験結果

リサーチクエスチョン

• RQ1 霊長目ITニューロンは、深層学習の頑健性研究で用いられるのと同程度の大きさの $l_2$-ノルム敵対的摂動に対して脆弱であるか？
• RQ2 個々のITニューロンの敵対的感受性は、最新の頑健に訓練された人工ニューラルネットワークのユニットと、定量的に比較してどうなるか？
• RQ3 霊長目の視覚認識の頑健性は、個々のニューロンの耐性によるものか、集団レベルの誤り補正機構によるものか？
• RQ4 完全なモデルへのアクセスが制限される中で、勾配ベース最適化を用いて生物的神経記録に効果的に敵対的攻撃を適用できるか？
• RQ5 ITニューロンにおける敵対的例は、画像空間に密に存在するのか。つまり、任意の画像がカテゴリ選択性を変えるように摂動可能なのか？

主な発見

• 霊長目ITニューロンは、$🔥 = 2.5$ の $l_2$-ノルム摂動に対しても敵対的感受性を示し、人間にはほとんど感知できないほど微小である。
• $\epsilon = 3$ におけるITニューロンの平均敵対的感受性は、敵対的に訓練されたDNN（AT-ResNet50、AT-WRN50-4）と同程度の大きさであり、生物学的優位性の仮定に反する。
• 敵対的摂動は、個々のITニューロンのカテゴリ選択性を完全に変化させることができ、その応答が微小で標的のピクセル変更に極めて感受性であることを示している。
• 本研究では、任意の画像の周囲に画像空間に密に敵対的例が存在することを示し、視覚表現全体にわたる広範な脆弱性を示唆している。
• 頑健に訓練された人工ニューラルネットワークは、すでに個々のユニットレベルで生物学的神経表現の敵対的頑健性と同等か、それを上回るレベルに達している。
• 結果から、霊長目の視覚行動の頑健性は、個々のニューロンの耐性に起因するのではなく、下流の集団レベルでの復号または誤り補正メカニズムに起因している可能性があると示唆される。