[论文解读] A General Framework for Bilateral and Mean Shift Filtering

Justin Solomon, Keenan Crane+2 more|arXiv (Cornell University)|Apr 30, 2014

Image Enhancement Techniques参考文献 49被引用 35

一句话总结

本文提出了一种统一的、数学上严谨的框架，用于在任意域（包括图像、网格和点云）上进行双边滤波和均值漂移滤波。通过使用扩散算子和紧致流形对双边滤波进行推广，该框架在平面情况下可精确恢复图像双边滤波，实现无条件收敛的均值漂移方案，并支持对法线和曲率等几何信号的特征保持平滑。

ABSTRACT

We present a generalization of the bilateral filter that can be applied to feature-preserving smoothing of signals on images, meshes, and other domains within a single unified framework. Our discretization is competitive with state-of-the-art smoothing techniques in terms of both accuracy and speed, is easy to implement, and has parameters that are straightforward to understand. Unlike previous bilateral filters developed for meshes and other irregular domains, our construction reduces exactly to the image bilateral on rectangular domains and comes with a rigorous foundation in both the smooth and discrete settings. These guarantees allow us to construct unconditionally convergent mean-shift schemes that handle a variety of extremely noisy signals. We also apply our framework to geometric edge-preserving effects like feature enhancement and show how it is related to local histogram techniques.

研究动机与目标

• 开发一种适用于图像、网格和点云等多样化域的通用且一致的双边滤波框架。
• 确保该方法在矩形网格上精确还原为经典的图像双边滤波，从而提供理论一致性。
• 在不规则域（包括球面上的几何信号）上实现对噪声信号的无条件收敛均值漂移滤波。
• 支持对法线和曲率等几何信号的特征保持平滑，同时保留锐利边缘。
• 通过将图像、网格和分布滤波统一于单一连续与离散公式下，推广现有滤波技术。

提出的方法

• 在域 Σ 上使用扩散算子定义广义双边滤波，其中信号空间 Γ 为紧致流形（例如，法线对应 S²）。
• 通过 Σ 上的核 KΣ(x,y) 和 Γ 上的核 KΓ(f(x),f(y)) 定义滤波器，以连续积分形式结合空间邻近性和信号相似性。
• 利用单位分解和局部采样对滤波器进行离散化，确保在不规则域上的收敛性和稳定性。
• 将广义双边滤波作为迭代均值漂移滤波的基础，证明在离散设置下具有无条件收敛性。
• 通过将 xyz 位置或法线视为 Γ 上的信号，处理几何信号，实现在保留边缘不连续性的同时进行平滑。
• 采用稳定且预分解的线性求解方法，实现高效核应用，使方法具备可扩展性和实用性。

实验结果

研究问题

• RQ1 如何将双边滤波推广至不规则域（如网格和点云）以保持其在图像上的行为一致性？
• RQ2 能否构建一个统一框架，使其在平面情况下精确还原为图像双边滤波，并保持理论保证？
• RQ3 在应用于任意域上的信号时，何种条件可确保均值漂移滤波的无条件收敛？
• RQ4 如何有效平滑法线和曲率等几何信号，同时保留锐利特征？
• RQ5 广义双边滤波在何种方式下可扩展以支持非平滑任务（如直方图计算或形状编辑）？

主要发现

• 所提出的框架在矩形域上精确还原为经典的图像双边滤波，确保理论一致性与可解释性。
• 该方法在不规则域（包括 S² 上的几何信号）上实现了无条件收敛的均值漂移滤波，并具有严格的收敛保证。
• 离散化过程稳定、高效，仅需预分解的线性求解，实现快速计算且实现复杂度极低。
• 通过滤波表面法线实现特征保持的网格平滑，因为法线自然地将几何不连续性编码为信号不连续性。
• 该框架支持高级应用，如曲率平滑和边缘感知特征增强，结果与专用方法具有竞争力。
• 通过定义适当的 Γ 和核，该方法可推广至非平滑任务，如计算局部直方图或处理非欧几里得流形上的信号。