[论文解读] Interpretable Convolutional Neural Networks via Feedforward Design

C.‐C. Jay Kuo, Min Zhang+3 more|arXiv (Cornell University)|Oct 5, 2018

Adversarial Robustness in Machine Learning参考文献 27被引用 8

一句话总结

本文提出一种前馈（FF）设计，用于可解释的卷积神经网络（CNN），通过一次遍历方式从数据统计中推导网络参数，从而消除反向传播。利用Saab变换构建卷积层，使用级联最小二乘回归器构建全连接层，该方法在MNIST和CIFAR-10数据集上实现了具有竞争力的性能，同时提供了对特征学习和网络行为的透明性。

ABSTRACT

The model parameters of convolutional neural networks (CNNs) are determined by backpropagation (BP). In this work, we propose an interpretable feedforward (FF) design without any BP as a reference. The FF design adopts a data-centric approach. It derives network parameters of the current layer based on data statistics from the output of the previous layer in a one-pass manner. To construct convolutional layers, we develop a new signal transform, called the Saab (Subspace Approximation with Adjusted Bias) transform. It is a variant of the principal component analysis (PCA) with an added bias vector to annihilate activation's nonlinearity. Multiple Saab transforms in cascade yield multiple convolutional layers. As to fully-connected (FC) layers, we construct them using a cascade of multi-stage linear least squared regressors (LSRs). The classification and robustness (against adversarial attacks) performances of BP- and FF-designed CNNs applied to the MNIST and the CIFAR-10 datasets are compared. Finally, we comment on the relationship between BP and FF designs.

研究动机与目标

• 开发一种无需反向传播的可解释CNN设计方法论，转而采用以数据为中心的一次性参数推导方式。
• 通过基于线性代数、统计学和信号处理原理的网络设计，为反向传播训练提供一种互补框架。
• 通过基于主成分分析与聚类的特征映射构建CNN，提升对CNN的理解。
• 评估前馈设计的CNN在基准数据集上相对于标准反向传播训练模型的性能与鲁棒性。

提出的方法

• 引入Saab（子空间近似带调整偏置）变换，一种带有额外偏置项的PCA变体，用以消除激活非线性。
• 级联使用Saab变换构建多层卷积层，其中每一层对前一层的特征图执行子空间近似。
• 采用多阶段线性最小二乘回归（LSR）构建全连接层，利用伪标签将特征映射至子类别，再映射至类别标签。
• 直接从输入数据统计量（特别是均值与协方差）推导滤波器权重与偏置，无需迭代优化。
• 采用偏置选择策略，通过将偏置限制在输入特征最大范数范围内，确保激活输出非负。
• 以前馈、一次性方式构建网络，仅依赖数据的一阶与二阶统计量。

实验结果

研究问题

• RQ1 能否在不使用反向传播的情况下设计CNN，同时保持具有竞争力的分类准确率？
• RQ2 以数据为中心的前馈设计与基于反向传播的训练相比，在准确率与鲁棒性方面表现如何？
• RQ3 Saab变换与基于LSR的层构建在多大程度上能为CNN提供可解释性？
• RQ4 偏置调整在确保非负激活并保持Saab变换中信号结构方面起什么作用？
• RQ5 前馈设计的网络在对抗性攻击下的表现如何，相较于标准反向传播训练的模型？

主要发现

• 前馈设计的CNN在MNIST和CIFAR-10数据集上的分类性能与反向传播训练的模型相当。
• FF设计的网络在对抗性攻击下表现出鲁棒性，表明数据驱动设计过程具有内在稳定性。
• Saab变换能有效降低维度，同时保留判别性特征，从而实现高效的卷积层构建。
• 在级联LSR中使用伪标签，可在无需反向传播的情况下实现从特征空间到类别空间的有效分层映射。
• 偏置选择策略通过将偏置设为至少等于输入特征的最大范数，确保了非负激活，该策略基于理论边界推导得出。
• 所提方法提供了一种透明、可解释的替代方案，取代黑箱反向传播，其数学基础清晰建立在线性代数与统计学之上。