[论文解读] FrequentNet: A Novel Interpretable Deep Learning Model for Image Classification

Yifei Li, Kuangyan Song+2 more|arXiv (Cornell University)|Jan 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 5

一句话总结

本文提出FrequentNet，一种新颖的可解释深度学习模型，用于图像分类，其使用由离散傅里叶变换（DFT）和小波基导出的固定、与数据无关的滤波器，而非通过反向传播学习滤波器。通过利用正交频域基，FrequentNet在MNIST和CIFAR10上实现了具有竞争力的准确率，同时相比标准CNN和PCANet展现出更高的可解释性和计算效率。

ABSTRACT

This paper has proposed a new baseline deep learning model of more benefits for image classification. Different from the convolutional neural network(CNN) practice where filters are trained by back propagation to represent different patterns of an image, we are inspired by a method called "PCANet" in "PCANet: A Simple Deep Learning Baseline for Image Classification?" to choose filter vectors from basis vectors in frequency domain like Fourier coefficients or wavelets without back propagation. Researchers have demonstrated that those basis in frequency domain can usually provide physical insights, which adds to the interpretability of the model by analyzing the frequencies selected. Besides, the training process will also be more time efficient, mathematically clear and interpretable compared with the "black-box" training process of CNN.

研究动机与目标

• 开发一种用于图像分类的深度学习模型，避免基于反向传播的滤波器学习所带来的黑箱特性。
• 通过使用来自频域基（如DFT和小波）的物理上有意义的固定滤波器，提升模型的可解释性。
• 通过消除基于优化的滤波器学习，减少训练时间并提高数学透明度。
• 评估频域滤波器是否能在标准基准上匹配或超越学习型滤波器的性能。
• 探索在频域中分析学习滤波器响应所带来的可解释性优势。

提出的方法

• 使用离散傅里叶变换（DFT）基向量作为固定滤波器，其来源于特定频率下的余弦和正弦分量。
• 采用Daubechies D4小波基向量作为替代的固定滤波器，用于捕捉局部化、边缘敏感的特征。
• 构建两阶段网络架构，其中每个阶段均应用固定频域滤波器进行卷积，随后进行二值化和池化操作。
• 采用与数据无关的滤波器选择过程，滤波器学习过程中不涉及任何优化或反向传播。
• 将频域滤波器整合到类似CNN的架构中，包含最大池化和全连接层以实现分类。
• 将模型扩展至二维DFT以进行对比，但在MNIST变体上未观察到性能提升。

实验结果

研究问题

• RQ1 来自DFT和小波基的固定、与数据无关的滤波器是否能在无需反向传播的情况下实现具有竞争力的图像分类准确率？
• RQ2 在频域中分析滤波器响应的可解释性，与通过反向传播学习的滤波器相比如何？
• RQ3 频域滤波器是否能比主成分基滤波器提供对图像特征（如边缘、纹理）更深入的洞察？
• RQ4 在MNIST和CIFAR10等标准基准上，DFT和小波滤波器在性能和特征表示方面如何比较？
• RQ5 将频域滤波器与基于PCA的滤波器结合，是否能提升性能同时保持可解释性？

主要发现

• FrequentNet在MNIST基础数据集上达到97.80%的测试准确率，在bg-rand上为89.60%，在rot上为87.60%，展示了无需反向传播即可实现的强劲性能。
• 在CIFAR10上，两阶段FourierNet-2达到67.70%的准确率，而PCANet-2达到70.95%，表明FrequentNet具有竞争力但略逊于PCANet。
• 组合模型如PCA-Fourier（69.75%）和Fourier-PCA（68.30%）的性能优于独立的FourierNet-2，表明存在潜在协同效应。
• 可视化结果表明，FourierNet-2滤波器同时捕捉低频和高频分量，而小波滤波器则提取边缘状特征，证实了其物理可解释性。
• 使用单个滤波器的低秩近似显示，傅里叶和PCA滤波器提取相似的模式，而小波滤波器则更强调边缘。
• 由于无需反向传播和优化，该模型的训练过程显著更高效且更透明，优于标准CNN。