[论文解读] Interpolating Points on a Non-Uniform Grid using a Mixture of Gaussians

Ivan Skorokhodov|arXiv (Cornell University)|Dec 24, 2020

Advanced Image Processing Techniques参考文献 9被引用 5

一句话总结

本文提出了一种基于高斯混合模型（GMM）的可微分非均匀图像插值方法，其中每个已知像素被建模为具有固定方差的二维高斯分布，未知像素的颜色通过使用高斯核权重对已知颜色进行加权平均来计算。该方法在 ImageNet 上的表现优于标准插值技术，尤其是在高下采样因子下表现更优，并通过优化的 CUDA 内核实现了高效的前向和反向传播。

ABSTRACT

In this work, we propose an approach to perform non-uniform image interpolation based on a Gaussian Mixture Model. Traditional image interpolation methods, like nearest neighbor, bilinear, Hamming, Lanczos, etc. assume that the coordinates you want to interpolate from, are positioned on a uniform grid. However, it is not always the case in practice and we develop an interpolation method that is able to generate an image from arbitrarily positioned pixel values. We do this by representing each known pixel as a 2D normal distribution and considering each output image pixel as a sample from the mixture of all the known ones. Apart from the ability to reconstruct an image from arbitrarily positioned set of pixels, this also allows us to differentiate through the interpolation procedure, which might be helpful for downstream applications. Our optimized CUDA kernel and the source code to reproduce the benchmarks is located at https://github.com/universome/non-uniform-interpolation.

研究动机与目标

• 解决标准插值方法假设输入点均匀分布的局限性。
• 实现从任意位置像素值的高质量图像重建。
• 开发一种可微分的插值过程，支持输入点位置的基于梯度的优化。
• 通过自定义 CUDA 内核实现高效、GPU 加速的前向和反向传播。
• 在真实世界图像数据集上评估该方法与标准插值技术的性能表现。

提出的方法

• 每个位于 $(x^{(i)}, y^{(i)})$ 处、颜色为 $c^{(i)}$ 的已知像素被建模为二维高斯分布 $\mathcal{N}(\bm{\mu}^{(i)}, \sigma^2 I)$，其中 $\bm{\mu}^{(i)} = (x^{(i)}, y^{(i)})$。
• 在未知查询点 $\bm{q} = (x, y)$ 处的颜色通过 GMM 下的期望颜色计算：$c(\bm{q}) = \sum_{i=1}^{N} c^{(i)} \cdot \frac{\mathcal{N}(\bm{q}|\bm{\mu}^{(i)}, \sigma^2 I)}{Z_{\bm{q}}}$。
• 归一化因子 $Z_{\bm{q}} = \sum_{i=1}^{N} \mathcal{N}(\bm{q}|\bm{\mu}^{(i)}, \sigma^2 I)$ 确保权重之和为一。
• 推理过程中仅考虑邻近点以提高计算效率。
• 该方法独立处理每个 RGB 通道，并支持通过插值过程的反向传播。
• 实现了优化的 CUDA 内核，用于前向和反向传播，以支持高效训练与优化。

实验结果

研究问题

• RQ1 高斯混合模型能否有效用于从任意位置的输入点插值图像值？
• RQ2 所提出的可微分插值方法在非均匀网格上是否能实现优于标准插值技术的重建质量？
• RQ3 性能对高斯方差超参数 $\sigma^2$ 的选择有多敏感？
• RQ4 能否通过梯度下降有效优化已知点的空间位置以提升重建质量？
• RQ5 与标准库相比，所提出的 CUDA 优化实现效率如何？

主要发现

• 当下采样因子超过中等阈值时，该方法在 ImageNet 上的 $L_1$ 重建误差方面优于六种标准插值技术（最近邻、双线性、双三次等）。
• 在低下采样因子下表现具有竞争力，且随着下采样比的增加，优势愈发显著。
• 通过梯度下降优化已知点位置仅带来极小的重建质量提升，表明模型对初始化敏感且易陷入局部极小值。
• 模型性能对超参数 $\sigma^2$ 的选择比对点坐标优化更为敏感。
• CUDA 内核实现支持高效的前向和反向传播，支持端到端可微的图像重建。
• 反向传播结果与慢速的 PyTorch 基准实现对比验证，确认了数值计算的正确性。