[论文解读] Deeply Cascaded U-Net for Multi-Task Image Processing

Ilja Gubins, Remco C. Veltkamp|arXiv (Cornell University)|May 1, 2020

Advanced Neural Network Applications参考文献 18被引用 5

一句话总结

本文提出了一种深度级联U-Net架构，将多种图像处理任务（如去噪和语义分割）整合到一个统一的网络中，共享编码器并采用任务特定的解码器路径。通过实现预测的深度级联和跨路径特征连接，该模型在参数更少的情况下实现了优于独立训练或联合训练网络的性能。

ABSTRACT

In current practice, many image processing tasks are done sequentially (e.g. denoising, dehazing, followed by semantic segmentation). In this paper, we propose a novel multi-task neural network architecture designed for combining sequential image processing tasks. We extend U-Net by additional decoding pathways for each individual task, and explore deep cascading of outputs and connectivity from one pathway to another. We demonstrate effectiveness of the proposed approach on denoising and semantic segmentation, as well as on progressive coarse-to-fine semantic segmentation, and achieve better performance than multiple individual or jointly-trained networks, with lower number of trainable parameters.

研究动机与目标

• 为解决顺序图像处理流水线的低效性和次优性能，通过将多个任务统一到单一深度学习框架中。
• 在保持或提升多个图像处理任务性能的同时，减少可训练参数数量。
• 探索在计算机视觉多任务学习中，深度级联和路径间特征连接的优势。
• 在标准和渐进式粗到细的语义分割任务上展示改进的性能。

提出的方法

• 通过引入多个并行的解码器路径扩展U-Net架构，每条路径专门用于特定的图像处理任务。
• 通过将一个任务解码器的输出反馈到编码器或后续解码器中，实现深度级联作为额外监督。
• 建立路径间的连接，以实现不同任务专用解码器之间的特征流动，增强特征表示共享。
• 使用共享的编码器主干网络提取分层特征，随后通过任务特定的头部进行预测。
• 采用多任务损失函数，将各任务损失组合后进行端到端训练。
• 在每个解码器路径内部使用跳跃连接，以保留空间分辨率并促进梯度流动。

实验结果

研究问题

• RQ1 统一的深度学习架构是否能优于顺序处理或独立训练的模型，在多个图像处理任务上表现更优？
• RQ2 与标准多任务学习相比，预测的深度级联是否能提升多任务图像处理的性能？
• RQ3 路径间的特征连接是否能增强不同任务之间的表征学习？
• RQ4 与标准U-Net和多任务基线相比，所提出的架构在参数效率和准确性方面表现如何？

主要发现

• 所提出的深度级联U-Net在去噪和语义分割任务上均优于独立训练和联合训练的网络。
• 与为每个任务单独训练网络相比，该模型显著减少了可训练参数数量。
• 深度级联和路径间连接显著提升了特征学习和预测准确性，尤其在渐进式粗到细的语义分割任务中表现突出。
• 该架构在多样化图像处理任务中展现出强大的泛化能力，且架构开销极小。