[论文解读] Learning From Brains How to Regularize Machines

Zhe Li, Wieland Brendel+8 more|arXiv (Cornell University)|Nov 11, 2019

Cell Image Analysis Techniques被引用 12

一句话总结

本文提出通过使用大规模小鼠视觉皮层记录的表征相似性来正则化卷积神经网络（CNNs），以提升模型对噪声和对抗性攻击的鲁棒性。通过在神经响应上训练预测模型，并对偏离这些生物启发式表征的偏差施加惩罚，该方法在不牺牲标准准确率的前提下增强了模型的泛化能力，在扰动条件下显著优于基线模型和对照模型。

ABSTRACT

Despite impressive performance on numerous visual tasks, Convolutional Neural Networks (CNNs) --- unlike brains --- are often highly sensitive to small perturbations of their input, e.g. adversarial noise leading to erroneous decisions. We propose to regularize CNNs using large-scale neuroscience data to learn more robust neural features in terms of representational similarity. We presented natural images to mice and measured the responses of thousands of neurons from cortical visual areas. Next, we denoised the notoriously variable neural activity using strong predictive models trained on this large corpus of responses from the mouse visual system, and calculated the representational similarity for millions of pairs of images from the model's predictions. We then used the neural representation similarity to regularize CNNs trained on image classification by penalizing intermediate representations that deviated from neural ones. This preserved performance of baseline models when classifying images under standard benchmarks, while maintaining substantially higher performance compared to baseline or control models when classifying noisy images. Moreover, the models regularized with cortical representations also improved model robustness in terms of adversarial attacks. This demonstrates that regularizing with neural data can be an effective tool to create an inductive bias towards more robust inference.

研究动机与目标

• 探究将小鼠视觉皮层中的生物神经表征相似性融入深度学习模型是否可提升其鲁棒性。
• 解决人工神经网络与生物大脑在噪声或对抗性输入下鲁棒性差距的问题。
• 开发一种数据驱动的正则化方法，将源自真实神经活动的归纳偏置嵌入CNN中。
• 评估神经表征相似性是否比随机特征或预训练VGG模型的特征提供更有效的归纳偏置。

提出的方法

• 记录了清醒小鼠初级视觉皮层中数千个神经元对5100张自然灰度图像的群体响应。
• 为每个神经元计算信噪比以加权响应，提高神经相似性估计的可靠性。
• 利用重复试验（即“理想图像”）训练强预测模型以模拟神经活动，实现去噪的表征预测。
• 基于预测的神经响应，计算图像对之间的表征相似性矩阵。
• 修改CNN的损失函数，对偏离神经相似性结构的中间特征激活施加惩罚。
• 通过联合优化分类损失与神经相似性正则化损失，训练ResNet模型，并引入可学习的权重系数α。

实验结果

研究问题

• RQ1 是否可利用小鼠视觉皮层的神经表征相似性对CNN进行正则化，以提升其对输入扰动的鲁棒性？
• RQ2 基于神经的正则化是否优于使用随机特征或预训练VGG模型特征的正则化？
• RQ3 正则化所选网络层对模型性能与稳定性有何影响？
• RQ4 所提升的鲁棒性是否源于真正的归纳偏置，而非梯度遮蔽等人为效应？
• RQ5 该方法是否可在不同类型的对抗性攻击和噪声分布下实现泛化？

主要发现

• 在随机噪声污染的图像分类任务中，使用神经表征相似性正则化的模型显著优于基线模型。
• 神经正则化模型在多种$L_p$范数（$L_0$、$L_1$、$L_2$、$L_∞$）下均表现出显著提升的对抗鲁棒性，优于基线模型和对照模型。
• 鲁棒性提升在多种对抗攻击（包括PGD、C&W、JSMA和Brendel & Bethge）中保持一致，表明泛化能力真正得到增强。
• 正则化效果具有神经相似性的特异性——使用随机化或VGG特征正则化的模型改善程度明显更低。
• 最优正则化层并非确定性选择，但多集中于早期到中期卷积层，且层选择受正则化强度α的影响。
• 该方法在保持标准ImageNet分类性能的同时增强了鲁棒性，证明生物归纳偏置可有效迁移至人工神经网络。