[论文解读] Convolutional Neural Networks as 2-D systems

Dennis Gramlich, Patricia Pauli+3 more|arXiv (Cornell University)|Jan 1, 2023

Model Reduction and Neural Networks被引用 3

一句话总结

本文通过将卷积神经网络（CNNs）建模为二维线性时不变系统，提出了一种CNN的二维系统表示方法，从而实现了二维Luré系统公式化。利用微分耗散性理论与凸优化，该方法推导出一种计算高效的CNN利普希茨常数估计方法，这对于对抗攻击的鲁棒性至关重要，并在计算可行性方面显著优于现有方法（如LipSDP），尤其适用于更大规模的网络。

ABSTRACT

This paper introduces a novel representation of convolutional Neural Networks (CNNs) in terms of 2-D dynamical systems. To this end, the usual description of convolutional layers with convolution kernels, i.e., the impulse responses of linear filters, is realized in state space as a linear time-invariant 2-D system. The overall convolutional Neural Network composed of convolutional layers and nonlinear activation functions is then viewed as a 2-D version of a Lur'e system, i.e., a linear dynamical system interconnected with static nonlinear components. One benefit of this 2-D Lur'e system perspective on CNNs is that we can use robust control theory much more efficiently for Lipschitz constant estimation than previously possible.

研究动机与目标

• 为解决现有基于鲁棒控制的CNN利普希茨常数估计方法在效率方面的不足。
• 通过将CNN表示为二维动态系统，弥合控制理论与深度学习之间的鸿沟，利用成熟的二维系统理论。
• 利用凸优化实现对多层CNN（包括全连接层）的可扩展利普希茨常数估计。
• 克服现有方法（如LipSDP）的计算局限性，后者在中等规模CNN上因内存占用过高而失效。
• 为评估CNN的对抗鲁棒性，提供一种理论基础坚实且计算上可行的方法。

提出的方法

• 基于Roesser或Fornasini-Marchesini模型的状态空间实现，将每个卷积层表示为二维线性时不变（LTI）系统。
• 将整个CNN公式化为二维Luré系统，其中线性二维系统与静态、扇区有界的非线性部分（如ReLU）相互联结。
• 应用耗散性理论，推导出一个凸优化问题（半定规划），用于界定CNN的利普希茨常数。
• 利用卷积核传递函数的线性分式表示（LFRs）构建二维系统模型，通过[47]中的工具实现高效计算。
• 使用Mosek等求解器求解所得凸优化问题，计算利普希茨常数的上界。
• 在包含两层卷积层和两层全连接层的MNIST分类CNN上验证该方法，与LipSDP和Toeplitz范数方法进行性能比较。

实验结果

研究问题

• RQ1 卷积神经网络能否被有效建模为二维动态系统，以支持基于鲁棒控制的分析？
• RQ2 与现有基于鲁棒控制的CNN利普希茨常数估计方法相比，二维Luré系统公式化是否能实现更高效的计算？
• RQ3 该方法在网络规模和输入维度方面如何扩展，尤其与内存密集型方法（如LipSDP）相比？
• RQ4 在二维系统框架中，利普希茨上界紧致性与计算成本之间的权衡如何？
• RQ5 二维系统方法能否在统一框架下处理结合卷积层与全连接层的混合架构？

主要发现

• 二维系统方法在82.7秒内计算出28×28 MNIST CNN的利普希茨常数上界为23.9，显著快于LipSDP（耗时334秒），后者得到更紧的上界12.0。
• 对于减小的14×14输入尺寸，二维方法在82.7秒内得到23.9的上界，而LipSDP因内存不足而无法求解相同问题。
• 该二维方法在更大规模网络中仍保持计算可行性，28×28输入规模下耗时1550秒，得到18.9的上界，展现出良好的可扩展性。
• 二维方法得到的利普希茨上界（23.9）虽比LipSDP（12.0）更宽松，但为大规模网络的计算可行性提供了必要权衡。
• 该方法成功实现了对包含ReLU激活函数和全连接层的完整CNN架构的利普希茨估计，而此前基于二维控制的方法尚未解决此类问题。
• 结果证实，二维系统理论为CNN鲁棒性分析提供了一种计算上可行且可扩展的框架，尤其在传统方法因内存限制而失效时更具优势。