[论文解读] Density Modeling of Images using a Generalized Normalization Transformation

Johannes Ballé, Valero Laparra+1 more|arXiv (Cornell University)|Nov 19, 2015

Neural Networks and Applications被引用 242

一句话总结

本文提出了一种可微分、可逆的广义除法归一化（GDN）变换，通过优化参数以最小化负熵，使局部图像块实现高斯化。该方法在减少各分量之间的互信息方面优于 ICA-MG 和径向高斯化方法，并能生成更自然的图像样本，从而实现高效的图像去噪和深度无监督表征学习。

ABSTRACT

We introduce a parametric nonlinear transformation that is well-suited for Gaussianizing data from natural images. The data are linearly transformed, and each component is then normalized by a pooled activity measure, computed by exponentiating a weighted sum of rectified and exponentiated components and a constant. We optimize the parameters of the full transformation (linear transform, exponents, weights, constant) over a database of natural images, directly minimizing the negentropy of the responses. The optimized transformation substantially Gaussianizes the data, achieving a significantly smaller mutual information between transformed components than alternative methods including ICA and radial Gaussianization. The transformation is differentiable and can be efficiently inverted, and thus induces a density model on images. We show that samples of this model are visually similar to samples of natural image patches. We demonstrate the use of the model as a prior probability density that can be used to remove additive noise. Finally, we show that the transformation can be cascaded, with each layer optimized using the same Gaussianization objective, thus offering an unsupervised method of optimizing a deep network architecture.

研究动机与目标

• 开发一种参数化、可逆的变换，有效对局部图像块进行高斯化，以改进密度建模。
• 通过最小化变换后数据的负熵来优化变换参数，直接针对非高斯性减少。
• 构建一个自然图像的密度模型，能够生成视觉上逼真的样本，并支持图像恢复任务。
• 通过级联多个 GDN 层，每层均通过相同的高斯化目标进行优化，实现深度无监督学习。
• 克服非参数方法（如 ICA-MG 和径向高斯化）的局限性，后者存在收敛缓慢和数据效率低的问题。

提出的方法

• GDN 变换先应用线性变换，再进行非线性归一化：每个分量被一个池化活动度量所除，该度量通过修正后分量的加权指数和再加常数计算得出。
• 该变换由线性变换矩阵、指数、权重和常数参数化，所有参数联合优化以最小化输出分布的负熵。
• 该方法使用变量变换公式，将变换后数据的负熵表示为原始数据上的期望，从而实现端到端优化。
• 通过要求变换的雅可比行列式在所有位置均为正定，确保可逆性，从而实现精确的密度估计和采样。
• 模型在自然图像块上进行训练，使用 van Hateren 和 Kodak 数据集，预处理包括去除饱和度和强度非线性，以提升高斯化效果。
• 该架构支持堆叠多个 GDN 层，每层均通过相同的负熵最小化目标进行优化，从而实现深度无监督表征学习。

实验结果

研究问题

• RQ1 参数化、可微分且可逆的变换是否能在自然图像块高斯化方面优于 ICA-MG 和径向高斯化等现有方法？
• RQ2 所提出的 GDN 变换是否能生成更好的自然图像密度模型，表现为互信息减少和样本质量提升？
• RQ3 GDN 变损能否有效级联形成用于无监督表征学习的深度架构？
• RQ4 与基线先验相比，基于 GDN 的密度模型在图像去噪性能方面提升程度如何？
• RQ5 联合归一化函数的优化与非参数边缘非线性相比，在收敛速度和数据效率方面表现如何？

主要发现

• 与 ICA-MG 和径向高斯化相比，GDN 变换显著降低了各分量之间的互信息，表明其在依赖性减少方面更优。
• 从 GDN 密度模型生成的样本在视觉上与自然图像块更相似，证明其具有更好的统计保真度。
• 在图像去噪中作为先验使用时，GDN 模型的性能优于基线方法，验证了其在图像恢复中的有效性。
• GDN 变换具有可微分性和可逆性，支持精确的密度估计和高效采样，这对概率建模至关重要。
• 通过共享优化目标级联多个 GDN 层，可构建一个深度无监督架构，能够从未标注数据中学习分层表征。
• 该方法在收敛速度和数据效率方面优于非参数替代方法，因为它避免了为估计边缘非线性而依赖大规模数据集。