[论文解读] AdaInt: Learning Adaptive Intervals for 3D Lookup Tables on Real-time Image Enhancement

Canqian Yang, Meiguang Jin+3 more|arXiv (Cornell University)|Apr 29, 2022

Image Enhancement Techniques被引用 6

一句话总结

AdaInt 提出了一种用于实时图像增强的可学习、自适应采样策略，通过根据图像内容动态调整非均匀采样间隔，实现对三维查找表（3D LUTs）的优化。它引入了一种可微分的 AiLUT-Transform 操作符，支持端到端训练，在基准数据集上实现了最先进性能，且计算开销极低。

ABSTRACT

The 3D Lookup Table (3D LUT) is a highly-efficient tool for real-time image enhancement tasks, which models a non-linear 3D color transform by sparsely sampling it into a discretized 3D lattice. Previous works have made efforts to learn image-adaptive output color values of LUTs for flexible enhancement but neglect the importance of sampling strategy. They adopt a sub-optimal uniform sampling point allocation, limiting the expressiveness of the learned LUTs since the (tri-)linear interpolation between uniform sampling points in the LUT transform might fail to model local non-linearities of the color transform. Focusing on this problem, we present AdaInt (Adaptive Intervals Learning), a novel mechanism to achieve a more flexible sampling point allocation by adaptively learning the non-uniform sampling intervals in the 3D color space. In this way, a 3D LUT can increase its capability by conducting dense sampling in color ranges requiring highly non-linear transforms and sparse sampling for near-linear transforms. The proposed AdaInt could be implemented as a compact and efficient plug-and-play module for a 3D LUT-based method. To enable the end-to-end learning of AdaInt, we design a novel differentiable operator called AiLUT-Transform (Adaptive Interval LUT Transform) to locate input colors in the non-uniform 3D LUT and provide gradients to the sampling intervals. Experiments demonstrate that methods equipped with AdaInt can achieve state-of-the-art performance on two public benchmark datasets with a negligible overhead increase. Our source code is available at https://github.com/ImCharlesY/AdaInt.

研究动机与目标

• 为解决在图像增强中，3D LUT 的均匀采样性能欠佳的问题，该问题限制了对局部非线性特性的建模。
• 通过学习适应图像特定色彩变换复杂度的非均匀采样间隔，提升 3D LUT 的表达能力。
• 通过一种可微分且高效的查找机制，实现自适应 3D LUT 的端到端训练。
• 在通过智能采样点分配提升模型能力的同时，保持高推理效率。
• 为现有基于 3D LUT 的图像增强框架提供即插即用的模块。

提出的方法

• 提出 AdaInt，一种神经网络模块，可联合预测 3D LUT 的非均匀采样坐标与输出颜色值。
• 引入 AiLUT-Transform，一种可微分操作符，通过低复杂度的二分查找与三线性插值，实现非均匀 3D LUT 查找过程中的梯度传播。
• 使用轻量级卷积神经网络（CNN），从下采样后的输入图像中同时预测采样间隔与输出值。
• 在推理过程中，对每个颜色通道分别应用二分查找，以定位输入颜色在非均匀分布的网格单元中的位置。
• 采用可微分的采样策略，使反向传播能够通过非均匀网格结构。
• 通过使查找过程可微分，实现具有自适应间隔的 3D LUT 的端到端训练。

实验结果

研究问题

• RQ1 在 3D LUT 中学习非均匀采样间隔是否能提升对图像增强中复杂非线性色彩变换的建模能力？
• RQ2 如何设计一种可微分的查找机制，以支持通过非均匀 3D LUT 的反向传播？
• RQ3 与均匀采样相比，自适应采样是否能在计算成本极低的前提下实现更优性能？
• RQ4 AdaInt 是否能有效集成到现有基于 3D LUT 的图像增强框架中作为即插即用模块？
• RQ5 自适应采样策略如何响应不同图像内容及色彩变换中的局部非线性特性？

主要发现

• AdaInt 在 FiveK 和 PPR10K 基准测试中均达到最先进性能，在 PSNR、SSIM 和 ΔEab 指标上优于现有基于 3D LUT 的方法。
• 该方法在所有数据集上均显著优于 3D-LUT 基线，且计算开销增加可忽略不计。
• 在 PPR10K 数据集上，AdaInt 在人类中心度量（HC）指标上也表现出色，表明其具备优异的视觉质量。
• 定性结果表明，与基线方法相比，AdaInt 在过曝处理、色彩饱和度控制和纹理保持方面表现更优。
• 通过累积误差直方图可视化显示，所学习的采样间隔能自适应地在色彩变换的高曲率区域集中更多采样点。
• 该方法保持了极高的推理速度，证明其在实时应用中的实用性。