[论文解读] KerCNNs: biologically inspired lateral connections for classification of corrupted images

Noemi Montobbio, Laurent Bonnasse‐Gahot+2 more|arXiv (Cornell University)|Oct 18, 2019

Cell Image Analysis Techniques参考文献 45被引用 7

一句话总结

本文提出KerCNNs，一种受生物学启发的CNN变体，通过整合源自前向滤波器相关性的无参数侧向连接，增强了图像分类的鲁棒性。该方法在图像受损时（尤其是全局形状破坏和对抗性攻击下）表现出更强的稳定性，且不增加模型参数量，在模式补全任务中优于标准CNN和循环CNN。

ABSTRACT

The state of the art in many computer vision tasks is represented by Convolutional Neural Networks (CNNs). Although their hierarchical organization and local feature extraction are inspired by the structure of primate visual systems, the lack of lateral connections in such architectures critically distinguishes their analysis from biological object processing. The idea of enriching CNNs with recurrent lateral connections of convolutional type has been put into practice in recent years, in the form of learned recurrent kernels with no geometrical constraints. In the present work, we introduce biologically plausible lateral kernels encoding a notion of correlation between the feedforward filters of a CNN: at each layer, the associated kernel acts as a transition kernel on the space of activations. The lateral kernels are defined in terms of the filters, thus providing a parameter-free approach to assess the geometry of horizontal connections based on the feedforward structure. We then test this new architecture, which we call KerCNN, on a generalization task related to global shape analysis and pattern completion: once trained for performing basic image classification, the network is evaluated on corrupted testing images. The image perturbations examined are designed to undermine the recognition of the images via local features, thus requiring an integration of context information - which in biological vision is critically linked to lateral connectivity. Our KerCNNs turn out to be far more stable than CNNs and recurrent CNNs to such degradations, thus validating this biologically inspired approach to reinforce object recognition under challenging conditions.

研究动机与目标

• 解决标准CNN对保留全局形状的局部图像扰动的不稳定性问题，这与人类视觉感知形成对比。
• 克服标准CNN中缺乏侧向连接的问题，这是与灵长类视觉处理的关键差异。
• 开发一种无参数的侧向连接机制，以编码每一层中滤波器之间的几何关系。
• 评估模型在受损输入上的泛化能力，以模拟需要上下文整合的真实世界视觉挑战。
• 证明生物上合理的侧向连接可在不重新训练受损数据的情况下，提升模式补全和鲁棒性。

提出的方法

• 基于受皮层连接模型启发的相关性度量，将侧向核定义为前向卷积滤波器的确定性函数。
• 将这些侧向核作为循环卷积操作集成到每个卷积层中，以在特征图上传播激活相关性。
• 通过避免学习侧向权重，保持与基础CNN相同的参数数量，确保公平比较。
• 仅在干净图像上训练KerCNN进行标准分类，然后在受损输入上测试泛化能力。
• 应用高斯补丁、边缘破坏和对抗性噪声等扰动，以评估在上下文依赖识别需求下的鲁棒性。
• 使用与标准CNN相同的训练和推理流程，仅在推理阶段为受损输入添加结构化的侧向连接。

实验结果

研究问题

• RQ1 受生物学启发的侧向连接能否提升CNN对破坏局部特征但保留全局形状的图像损坏的鲁棒性？
• RQ2 基于前向滤波器相关性的无参数侧向核，能否增强CNN的模式补全和上下文整合能力？
• RQ3 在对抗性攻击和遮挡下，KerCNNs与标准CNN和循环CNN相比性能如何？
• RQ4 侧向连接在不重新训练受损数据的情况下，能在多大程度上实现缺失图像结构的自发恢复？
• RQ5 从前向滤波器中导出的侧向连接几何结构，能否在超越局部特征学习的基础上提升泛化能力？

主要发现

• 在Kuzushiji-MNIST数据集上，当D=4位移时，KerCNNs达到约60%的准确率，而基础CNN仅为约35%，表明在全局形状破坏下具有强大的模式补全能力。
• 在边缘破坏和对抗性攻击下，KerCNNs相比标准CNN表现出一致的约15%提升，表明鲁棒性显著增强。
• 在CIFAR-10上，KerCNNs在高斯补丁损坏下保持与CNN相当的性能，但在较大遮挡（γ > 5）时表现更优，表明上下文整合具有优势。
• 在使用学习侧向权重的模型（如Liang & Hu, 2015）中未观察到此改进，表明从前向滤波器中导出的几何结构对鲁棒性至关重要。
• 侧向连接实现了在不重新训练受损数据情况下的缺失信息自发恢复，证实其在上下文整合中的作用。
• 该方法保持了基础CNN的原始参数量，实现了公平比较，并可在无计算开销的情况下实现实际部署。