[论文解读] Learning Sparse High Dimensional Filters: Image Filtering, Dense CRFs and Bilateral Neural Networks

Varun Jampani, Martin Kiefel+1 more|arXiv (Cornell University)|Mar 17, 2015

Geophysical Methods and Applications参考文献 19被引用 12

一句话总结

本文提出了一种可学习的、稀疏的高维滤波框架，通过在排列单纯形格点上使用梯度下降，将双边滤波推广至更一般的形式。通过在高维特征空间中参数化滤波权重并支持端到端学习，该方法在图像滤波、密集CRF和卷积神经网络中均提升了性能，在分割和分类任务中实现了经验性性能增益。

ABSTRACT

Bilateral filters have wide spread use due to their edge-preserving properties. The common use case is to manually choose a parametric filter type, usually a Gaussian filter. In this paper, we will generalize the parametrization and in particular derive a gradient descent algorithm so the filter parameters can be learned from data. This derivation allows to learn high dimensional linear filters that operate in sparsely populated feature spaces. We build on the permutohedral lattice construction for efficient filtering. The ability to learn more general forms of high-dimensional filters can be used in several diverse applications. First, we demonstrate the use in applications where single filter applications are desired for runtime reasons. Further, we show how this algorithm can be used to learn the pairwise potentials in densely connected conditional random fields and apply these to different image segmentation tasks. Finally, we introduce layers of bilateral filters in CNNs and propose bilateral neural networks for the use of high-dimensional sparse data. This view provides new ways to encode model structure into network architectures. A diverse set of experiments empirically validates the usage of general forms of filters.

研究动机与目标

• 将双边滤波推广至超越固定参数形式（如高斯分布）的范围，实现数据驱动的滤波器学习。
• 通过利用高效的排列单纯形格点近似，解决高维滤波的计算挑战。
• 通过反向传播通过滤波操作，实现在深度网络中滤波器的端到端训练。
• 在多种应用中展示所学滤波器的实用性：图像滤波、密集CRF和卷积神经网络。
• 利用高维特征空间中的稀疏性，降低计算成本，同时保持边缘细节。

提出的方法

• 利用排列单纯形格点结构，高效近似稀疏特征空间中的高维卷积。
• 放松先前基于格点滤波中对可分高斯假设的依赖，允许滤波权重的自由参数化。
• 通过基于格点的计算，推导滤波操作关于滤波参数的可微梯度。
• 应用梯度下降从数据中学习滤波权重，实现在下游任务中的端到端优化。
• 将所学的双边滤波作为层集成到CNN中——引入双边卷积层（BCLs），用于稀疏高维数据。
• 使用相同框架学习密集CRF中的成对势能，提升分割精度。

实验结果

研究问题

• RQ1 双边滤波能否被推广至超越固定参数形式（如高斯分布）的范围，以提升图像处理任务的性能？
• RQ2 在保持计算效率的前提下，是否可行通过梯度下降实现高维滤波器的端到端训练？
• RQ3 在稀疏数据的深度神经网络中，所学的双边卷积与标准空间卷积相比表现如何？
• RQ4 所学滤波器能否提升在密集连接的条件随机场中用于图像分割的推理性能？
• RQ5 使用高维稀疏特征空间对模型精度和训练效率有何影响？

主要发现

• 所提方法在字符识别任务中实现了更快的收敛速度和更高的验证准确率，BNN-DeepCNet达到84.15%的验证准确率，优于标准DeepCNet的82.24%。
• 双边神经网络（BNNs）在所有测试架构中均优于其空间对应模型，BNN-LeNet达到75.05%的验证准确率，而Crop-LeNet为68.67%。
• 使用双边卷积可减少参数量——例如，一个7参数的双边滤波器可替代3×3或5×5的空间滤波器，同时保持或提升性能。
• 在密集CRF中所学的滤波器通过建模更复杂、数据依赖的成对势能，带来了更优的分割结果。
• 稀疏高维滤波操作在高维空间中具有高效扩展性，通过利用稀疏性，将计算量减少至字符识别任务中仅3%的点。
• 实证结果表明，该方法在图像滤波、CRF推理和深度学习等多种应用中均表现出一致的性能提升，验证了该框架的通用实用性。