[論文レビュー] Intrinsic Biologically Plausible Adversarial Robustness

Matilde Tristany Farinha, Thomas Ortner+3 more|arXiv (Cornell University)|Sep 29, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

この論文は、生物学的に妥当な学習アルゴリズムであるPEPITAで訓練された人工ニューラルネットワーク（ANNs）が、バックプロパゲーション（BP）で訓練されたネットワークよりも顕著に高い内在的 adversarial robustness を示すことを示している。BPとは異なり、PEPITAは adversarial training を行わずに adversarial サンプルにおいても強く性能を維持し、自然性能と adversarial 性能のトレードオフがはるかに良好である。同じ自然精度水準下で、PEPITAの adversarial accuracy の平均低下は0.26%にとどまるのに対し、BPは8.05%の低下を示す。

ABSTRACT

Artificial Neural Networks (ANNs) trained with Backpropagation (BP) excel in different daily tasks but have a dangerous vulnerability: inputs with small targeted perturbations, also known as adversarial samples, can drastically disrupt their performance. Adversarial training, a technique in which the training dataset is augmented with exemplary adversarial samples, is proven to mitigate this problem but comes at a high computational cost. In contrast to ANNs, humans are not susceptible to misclassifying these same adversarial samples. Thus, one can postulate that biologically-plausible trained ANNs might be more robust against adversarial attacks. In this work, we chose the biologically-plausible learning algorithm Present the Error to Perturb the Input To modulate Activity (PEPITA) as a case study and investigated this question through a comparative analysis with BP-trained ANNs on various computer vision tasks. We observe that PEPITA has a higher intrinsic adversarial robustness and, when adversarially trained, also has a more favorable natural-vs-adversarial performance trade-off. In particular, for the same natural accuracies on the MNIST task, PEPITA's adversarial accuracies decrease on average only by 0.26% while BP's decrease by 8.05%.

研究の動機と目的

• 生物学的に妥当な学習アルゴリズム（例：PEPITA）が、バックプロパゲーション（BP）よりも高い内在的 adversarial robustness を達成できるかどうかを調査すること。
• BPとPEPITAの両方が adversarial training を施した場合の自然性能と adversarial 性能のトレードオフを比較すること。
• 弱い攻撃（例：FGSM）を用いた高速 adversarial training が、PEPITAとBPのモデルに対して効果的に機能するかを評価すること。
• 生物学的にインspiredな学習メカニズムが、勾配ベースの adversarial 攻撃に対して本質的により頑健なモデルを生成するかどうかを特定すること。

提案手法

• 本研究では、同一のネットワークアーキテクチャとハイパーパramータを用いて、標準的なコンピュータビジョンベンチマーク（例：MNIST、CIFAR-10）上でBPとPEPITAを比較した。
• PEPITAは、重みを共有する勾配を必要とせず、フィードバックに基づく誤差変調を用いた第二の順方向パスによって学習信号を計算する。
• robustness の評価のために、FGSMで生成された adversarial サンプルを用いた adversarial training を実施し、高速な訓練レジームでの性能を評価した。
• 強力な攻撃（例：PGD）に対する自然精度と adversarial 精度を、さまざまな摂動の大きさで測定し、性能を追跡した。
• 内在的 robustness は、自然データでのみ訓練されたモデルが adversarial パーティクルに対してテストされることで評価された。
• ノイズレベルやパrameter設定のアブレーションスタディを実施し、それらが adversarial generalization に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 PEPITAは adversarial training を行わずに、BPとは異なり内在的 adversarial robustness を示すか？
• RQ2 両者が adversarial training を施した場合、BPとPEPITAの自然性能と adversarial 性能のトレードオフはどのように比較されるか？
• RQ3 弱い adversarial サンプル（例：FGSM）を用いた高速 adversarial training は、PEPITAが強力な攻撃（例：PGD）に対してBPよりも優れた robustness を達成するか？
• RQ4 生物学的に妥当な学習アルゴリズム（例：PEPITA）は、計算的に高価な訓練手順に依存せずに、BPと同等またはそれ以上の robustness を達成できるか？

主な発見

• PEPITAモデルは、自然データでのみ訓練された場合でも、adversarial サンプルに対して高い精度を維持する、内在的 adversarial robustness を示す。これはBPモデルとは対照的である。
• adversarial training を施した場合、PEPITAは自然性能と adversarial 性能のトレードオフが顕著に良好であり、同じ自然精度水準下で adversarial accuracy の平均低下は0.26%にとどまる。これに対してBPは8.05%の低下を示す。
• 弱い adversarial サンプル（例：FGSM）を用いて訓練されたPEPITAモデルは、強力な攻撃（例：PGD）への一般化が優れており、同じ訓練レジーム下でBPよりも優れた robustness を示す。
• 本研究では、学習中に勾配がどのように計算されるか、特にPEPITAにおけるフィードバックベースのメカニズムが、adversarial robustness において重要な役割を果たすことが確認された。これは、生物学的に妥当な学習と robustness の間の関連性を示唆している。
• PEPITAの robustness は、アーキテクチャ的要因やハイパーパrameterの違いによるものではなく、同じ条件で訓練されたことから、学習アルゴリズムそのものが主な要因であることが分かった。
• 結果から、PEPITAのフィードバックベースの学習メカニズムが、勾配ベースの adversarial 攻撃に対して感受性が低くなるような特徴学習を本質的に促進していることが示唆された。