[论文解读] LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks

Sudhakar Kumawat, Shanmuganathan Raman|arXiv (Cornell University)|Apr 6, 2019

Human Pose and Action Recognition参考文献 47被引用 5

一句话总结

本文提出了一种称为修正局部相位体（ReLPV）的模块，作为标准3D卷积层的高效替代方案，通过在低频段使用3D短时傅里叶变换（STFT）提取局部相位特征，随后经过ReLU激活和可学习的线性组合。ReLPV模块将参数量减少了最多13³倍，并在ModelNet10/40和UCF-101数据集上实现了最先进（SOTA）的准确率，参数量仅为先前SOTA模型的11%和15%。

ABSTRACT

Traditional 3D Convolutional Neural Networks (CNNs) are computationally expensive, memory intensive, prone to overfit, and most importantly, there is a need to improve their feature learning capabilities. To address these issues, we propose Rectified Local Phase Volume (ReLPV) block, an efficient alternative to the standard 3D convolutional layer. The ReLPV block extracts the phase in a 3D local neighborhood (e.g., 3x3x3) of each position of the input map to obtain the feature maps. The phase is extracted by computing 3D Short Term Fourier Transform (STFT) at multiple fixed low frequency points in the 3D local neighborhood of each position. These feature maps at different frequency points are then linearly combined after passing them through an activation function. The ReLPV block provides significant parameter savings of at least, 3^3 to 13^3 times compared to the standard 3D convolutional layer with the filter sizes 3x3x3 to 13x13x13, respectively. We show that the feature learning capabilities of the ReLPV block are significantly better than the standard 3D convolutional layer. Furthermore, it produces consistently better results across different 3D data representations. We achieve state-of-the-art accuracy on the volumetric ModelNet10 and ModelNet40 datasets while utilizing only 11% parameters of the current state-of-the-art. We also improve the state-of-the-art on the UCF-101 split-1 action recognition dataset by 5.68% (when trained from scratch) while using only 15% of the parameters of the state-of-the-art. The project webpage is available at https://sites.google.com/view/lp-3dcnn/home.

研究动机与目标

• 解决标准3D CNN存在的高计算量、高内存占用和高参数复杂度问题。
• 通过用更高效且信息量更丰富的模块替代标准3D卷积层，提升3D CNN的特征学习能力。
• 在保持或提升3D数据任务性能的同时，减少过拟合和模型规模。
• 在多种3D数据表示（包括体素数据和时空数据）上展示一致的性能提升。

提出的方法

• ReLPV模块在每个输入位置的局部n×n×n邻域内，于多个固定低频点计算3D短时傅里叶变换（STFT）。
• 从STFT输出的3D局部体积中提取局部相位信息，捕捉方向性和结构特征。
• 将不同频率点的相位响应通过ReLU激活函数，生成激活后的响应图。
• 将这些激活后的特征图通过可学习权重进行线性组合，形成最终的输出特征图。
• ReLPV模块被设计为标准3D卷积层在3D CNN架构中的即插即用替代模块。
• 该方法实现了显著的参数压缩——对于3×3×3至13×13×13的滤波器尺寸，参数量相比标准3D卷积减少3³至13³倍，同时提升了特征表示能力。

实验结果

研究问题

• RQ1 一种通过3D STFT利用局部相位信息的新型3D卷积模块，是否能在准确率和效率上超越标准3D卷积？
• RQ2 ReLPV模块如何在降低模型复杂度和过拟合风险的同时，增强3D CNN的特征学习能力？
• RQ3 ReLPV模块是否能在不同类型的3D数据表示（如体素形状和时空动作序列）上实现良好泛化？
• RQ4 为最大化性能并最小化参数量，ReLPV模块的超参数配置（n, f）应如何选择？
• RQ5 结合ReLPV模块与标准3D卷积的混合架构，是否能超越完全基于ReLPV的模型？

主要发现

• 与标准3D卷积相比，ReLPV模块在3×3×3至13×13×13的滤波器尺寸下，参数量至少减少了3³至13³倍。
• 在ModelNet10和ModelNet40数据集上，基于ReLPV的模型仅使用当前SOTA模型11%的参数，即实现了最先进准确率。
• 在UCF-101 split-1动作识别数据集上，从零开始训练时，ReLPV模型相比先前SOTA模型准确率提升了5.68%，且仅使用其15%的参数。
• 随着特征图数量（f）的增加，UCF-101数据集上的性能持续提升，而模型规模和参数量仅略有增加。
• 将标准3D CNN的顶层替换为ReLPV模块的混合模型可提升性能，但未超越完全基于ReLPV的LP-mC3D网络。
• 消融实验表明，ReLPV模块在不同超参数和数据类型下性能稳定且始终优于标准3D卷积。