[论文解读] Deep Convolutional Neural Networks with Zero-Padding: Feature Extraction and Learning

Zhi Han, Baichen Liu+2 more|arXiv (Cornell University)|Jul 30, 2023

Adversarial Robustness in Machine Learning被引用 5

一句话总结

该论文表明，带有零填充的深度卷积神经网络（eDCNN）在特征提取方面优于全连接网络（DFCN）和无填充卷积网络（cDCNN），因其能固有地编码平移等价性并实现通用逼近。理论分析与实验结果证实，eDCNN在多种数据集（包括WISDM和ECG数据）中表现出更优的泛化能力和不变性特性，尤其在使用池化操作时。

ABSTRACT

This paper studies the performance of deep convolutional neural networks (DCNNs) with zero-padding in feature extraction and learning. After verifying the roles of zero-padding in enabling translation-equivalence, and pooling in its translation-invariance driven nature, we show that with similar number of free parameters, any deep fully connected networks (DFCNs) can be represented by DCNNs with zero-padding. This demonstrates that DCNNs with zero-padding is essentially better than DFCNs in feature extraction. Consequently, we derive universal consistency of DCNNs with zero-padding and show its translation-invariance in the learning process. All our theoretical results are verified by numerical experiments including both toy simulations and real-data running.

研究动机与目标

• 为弥合深度神经网络理论分析与实际设计之间的差距，阐明为何如带零填充的DCNN这类结构化网络优于全连接网络。
• 确立零填充使eDCNN能在无需依赖训练的情况下实现通用逼近和平移等价性，而DFCN则不具备此特性。
• 证明eDCNN通过零填充克服cDCNN（其会压缩特征宽度并丢失边缘信息）的局限性，从而保持特征的通用性。
• 为eDCNN在涉及时间与空间不变性的学习任务中表现更优提供理论一致性与实证验证。
• 基于理论与实验证据，指导网络设计，识别特定学习任务下最优配置（零填充、池化、深度）

提出的方法

• 提出eDCNN（带零填充的扩展DCNN）以抵消cDCNN的压缩行为，实现特征宽度保持与通用特征提取。
• 理论上证明，任何参数量相近的DFCN均可由eDCNN表示，表明eDCNN在特征表示方面具有结构上的优越性。
• 分析零填充（实现平移等价性）、池化（诱导平移不变性）和偏置向量在提升学习性能中的作用。
• 推导eDCNN的通用一致性，表明在适当网络深度与结构下，其学习过程具有收敛性。
• 在WISDM与ECG数据集上开展数值实验，采用Adam优化器、批量大小512及不同深度（1–10）比较eDCNN、cDCNN、DFCN与混合模型。
• 在'eDCNN+pl'配置中，在卷积层后使用核大小为2的最大池化操作，以增强不变性与性能。

Figure 1: The steps of feature extraction of classical machine learning and deep learning.

实验结果

研究问题

• RQ1 与全连接网络相比，DCNN中的零填充如何影响特征提取和平移等价性？
• RQ2 eDCNN是否能通过零填充通用逼近任何DFCN可逼近的函数，同时保持结构不变性？
• RQ3 池化在eDCNN中诱导平移不变性的机制是什么？其对学习性能有何影响？
• RQ4 eDCNN在从ECG与WISDM数据集等时间序列数据中提取特征方面，相较于cDCNN与DFCN表现如何？
• RQ5 在真实世界学习任务中，何种网络配置（深度、池化、零填充）能实现最优泛化与准确率？

主要发现

• 带有零填充的eDCNN可实现通用逼近，且能表示任意参数量相近的DFCN，证明其在特征提取方面具有结构上的优越性。
• eDCNN在各层间保持特征宽度，而cDCNN会压缩特征并无法提取基于边缘的特征，因而限制了其通用性。
• 在WISDM数据集上，'eDCNN+pl'在所有深度（1–10）下均达到最高测试准确率，优于DFCN与'cDCNN+fc'，因其有效保持了时间结构。
• 在MIT-BIH心律失常数据集上，'eDCNN+pl'实现了最高且最稳定的测试准确率，表现出对深度的鲁棒性与强大的不变性学习能力。
• cDCNN与'cDCNN+fc'表现欠佳，因缺乏零填充导致特征边缘信息丢失，尤其在未使用偏置时更为明显。
• PTB ECG数据集显示，DFCN表现较差，而eDCNN及其变体实现了高且一致的准确率，表明eDCNN更适合复杂信号的学习。

Figure 2: Three challenged gaps between the established theoretical results and desired running mechanisms of deep learning.