[论文解读] PixelRL: Fully Convolutional Network with Reinforcement Learning for Image Processing

Ryosuke Furuta, Naoto Inoue+1 more|arXiv (Cornell University)|Dec 16, 2019

Image Enhancement Techniques参考文献 70被引用 7

一句话总结

本文提出PixelRL，一种全卷积强化学习框架，其中每个像素作为独立智能体，通过像素级奖励优化图像处理任务。通过引入奖励图卷积以建模像素间依赖关系，该方法在图像去噪、修复、局部色彩增强及显著性驱动编辑任务中达到最先进或相当的性能，并通过可见的动作策略实现内在可解释性。

ABSTRACT

This paper tackles a new problem setting: reinforcement learning with pixel-wise rewards (pixelRL) for image processing. After the introduction of the deep Q-network, deep RL has been achieving great success. However, the applications of deep reinforcement learning (RL) for image processing are still limited. Therefore, we extend deep RL to pixelRL for various image processing applications. In pixelRL, each pixel has an agent, and the agent changes the pixel value by taking an action. We also propose an effective learning method for pixelRL that significantly improves the performance by considering not only the future states of the own pixel but also those of the neighbor pixels. The proposed method can be applied to some image processing tasks that require pixel-wise manipulations, where deep RL has never been applied. Besides, it is possible to visualize what kind of operation is employed for each pixel at each iteration, which would help us understand why and how such an operation is chosen. We also believe that our technology can enhance the explainability and interpretability of the deep neural networks. In addition, because the operations executed at each pixels are visualized, we can change or modify the operations if necessary. We apply the proposed method to a variety of image processing tasks: image denoising, image restoration, local color enhancement, and saliency-driven image editing. Our experimental results demonstrate that the proposed method achieves comparable or better performance, compared with the state-of-the-art methods based on supervised learning. The source code is available on https://github.com/rfuruta/pixelRL.

研究动机与目标

• 解决强化学习在需要逐像素操作的低层次图像处理任务中应用不足的问题。
• 克服将多智能体强化学习应用于具有数百万像素的高分辨率图像时计算不可行的问题。
• 通过全卷积网络开发一种可扩展、参数共享的框架，实现像素级决策。
• 通过可视化每个像素的已学习动作，提升模型可解释性，支持人机协同修改。
• 在监督学习之外的多种图像处理任务中，证明PixelRL的有效性。

提出的方法

• 每个像素被建模为独立智能体，基于局部状态观测选择动作以修改自身值。
• 全卷积网络（FCN）实现所有像素智能体之间的参数共享，显著降低计算成本。
• 引入奖励图卷积（RMC），使每个智能体能够考虑邻近像素的未来状态，从而提升策略学习效果。
• 采用基于A3C的演员-critic框架，并结合优势函数估计，实现稳定训练。
• 动作空间根据具体应用预先定义（例如，亮度调整、对比度调节），智能体通过密集的像素级奖励学习最优动作。
• 通过控制最大时间步长（$t_{max}$）调节编辑范围，实现在显著性驱动编辑中的可调细化。

实验结果

研究问题

• RQ1 强化学习能否有效应用于需要逐像素决策的低层次图像处理任务，如去噪和修复？
• RQ2 如何在计算成本可接受的前提下，将多智能体强化学习扩展至具有数百万智能体的高分辨率图像？
• RQ3 通过奖励图卷积建模像素间依赖关系，是否能显著提升像素级强化学习的性能？
• RQ4 所学策略在多大程度上具备可解释性？可视化动作是否有助于理解或修改模型行为？
• RQ5 PixelRL能否在无监督或弱监督设置下，实现与监督深度学习方法相当或更优的性能？

主要发现

• 所提出的PixelRL结合奖励图卷积在PiCANet数据集上与真实显著性图的皮尔逊相关系数（CC）达到0.53，优于基线方法如OHA（0.23）和HAG（0.29）。
• 在显著性驱动图像编辑任务中，当$t_{max}=15$时，该方法与原始图像的结构相似性（SSIM）达到0.73，表明在全像素编辑下仍保持高度自然性。
• 该方法在图像去噪和修复任务中优于最先进监督方法，且无需成对训练数据，性能相当或更优。
• 使用RMC和convGRU在所有任务中均提升了性能，当$t_{max}=15$时，PiCANet上的CC从0.37提升至0.53，证明其有效性。
• 每个像素的可视化动作揭示了可解释的编辑策略，如增强目标区域并抑制非目标区域，证实了方法的透明性。
• 该模型成功在六种不同的显著性图估计方法上学习到增强目标区域显著性的能力，证明了其鲁棒性与泛化能力。