[论文解读] Demystifying CNNs for Images by Matched Filters

Shengxi Li, Xinyi Zhao+2 more|arXiv (Cornell University)|Oct 16, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出了一种匹配滤波框架，通过展示卷积神经网络（CNN）的核心卷积操作作为匹配滤波器，用于检测输入数据中的特定模式，从而揭示卷积神经网络在图像识别中的内在机理。通过从信号处理的角度重新诠释CNN，作者为卷积核学习、激活函数和池化操作提供了理论依据，证明训练后的CNN执行的是最优匹配滤波，从而揭示了学习参数的物理意义，提升了人工智能在医疗健康领域应用的可解释性。

ABSTRACT

The success of convolution neural networks (CNN) has been revolutionising the way we approach and use intelligent machines in the Big Data era. Despite success, CNNs have been consistently put under scrutiny owing to their extit{black-box} nature, an extit{ad hoc} manner of their construction, together with the lack of theoretical support and physical meanings of their operation. This has been prohibitive to both the quantitative and qualitative understanding of CNNs, and their application in more sensitive areas such as AI for health. We set out to address these issues, and in this way demystify the operation of CNNs, by employing the perspective of matched filtering. We first illuminate that the convolution operation, the very core of CNNs, represents a matched filter which aims to identify the presence of features in input data. This then serves as a vehicle to interpret the convolution-activation-pooling chain in CNNs under the theoretical umbrella of matched filtering, a common operation in signal processing. We further provide extensive examples and experiments to illustrate this connection, whereby the learning in CNNs is shown to also perform matched filtering, which further sheds light onto physical meaning of learnt parameters and layers. It is our hope that this material will provide new insights into the understanding, constructing and analysing of CNNs, as well as paving the way for developing new methods and architectures of CNNs.

研究动机与目标

• 为解决CNN的黑箱特性，该特性阻碍了其在AI for health等敏感领域的理论分析与应用。
• 通过将CNN中的卷积操作与信号处理中的匹配滤波相联系，为CNN中的卷积操作提供理论基础。
• 通过匹配滤波的视角，揭示学习到的CNN参数与层的物理意义。
• 证明CNN中的卷积-激活-池化链路与匹配滤波的最大信噪比（SNR）性能一致。
• 为构建、分析和设计更具可解释性的CNN架构提供新见解。

提出的方法

• 将CNN中的卷积操作视为一种匹配滤波器，用于在噪声输入数据中检测已知的信号模式。
• 利用匹配滤波器能最大化信噪比（SNR）的理论特性，来解释和证明CNN的设计与运行机制。
• 基于平均局部图像块（如MNIST数字、手语字母）设计预定义卷积核，作为初始的匹配滤波器。
• 使用随机梯度下降（SGD）训练CNN，共100个周期，学习率为0.001，以优化来自预定义和随机初始化的卷积核。
• 比较使用预定义匹配滤波器初始化与随机权重初始化的CNN在性能上的差异，以评估先验信号知识带来的增益。
• 可视化多层中的匹配滤波输出，以说明分层特征检测过程及学习滤波器的演化。

实验结果

研究问题

• RQ1 如何通过信号处理中的匹配滤波原理，从理论上解释CNN中卷积操作的合理性？
• RQ2 当将学习到的CNN滤波器和激活模式解释为匹配滤波器时，其物理意义是什么？
• RQ3 与随机初始化相比，使用预定义匹配滤波器初始化CNN在多大程度上能提升训练收敛速度和准确率？
• RQ4 CNN中的卷积-激活-池化链路在多大程度上与匹配滤波的最大SNR性能一致？
• RQ5 匹配滤波视角能否催生新的CNN架构与理论框架？

主要发现

• 使用预定义匹配滤波器初始化的CNN在MNIST数字识别任务中达到了90%的平均测试准确率，略高于随机初始化（89%准确率）。
• 基于平均局部图像块的预定义卷积核显著提升了学习效率，尤其在实际CNN中常用的较小卷积核尺寸下效果更明显。
• 在彩色图像的手语字母识别实验中，基于平均模式的预定义滤波器使一维和两层CNN实现了更快且更准确的收敛。
• 匹配滤波解释表明，训练后CNN中学习到的滤波器对应于最优信号检测，为原本晦涩的参数赋予了明确的物理意义。
• CNN中的卷积-激活-池化链路被证明在理论上与匹配滤波的最大SNR特性一致，为CNN设计提供了严谨的理论基础。
• 该框架通过将CNN的运行机制与成熟的信号处理理论相联系，成功揭示了CNN的内在机理，提升了可解释性，并为新型网络架构的构建铺平了道路。