[论文解读] Automatically Searching for U-Net Image Translator Architecture

Han Shu, Yunhe Wang|arXiv (Cornell University)|Feb 26, 2020

Advanced Image and Video Retrieval Techniques参考文献 19被引用 7

一句话总结

本文提出一种基于进化算法的神经架构搜索方法，通过调节通道数和跳跃连接，自动优化基于U-Net的图像翻译网络。该方法发现了一种参数更少、FLOPs更低的更高效架构，在图像到图像翻译任务中表现更优，包括在未见过的数据集（如地图和廊屋）上实现零样本迁移。

ABSTRACT

Image translators have been successfully applied to many important low level image processing tasks. However, classical network architecture of image translator like U-Net, is borrowed from other vision tasks like biomedical image segmentation. This straightforward adaptation may not be optimal and could cause redundancy in the network structure. In this paper, we propose an automatic architecture searching method for image translator. By utilizing evolutionary algorithm, we investigate a more efficient network architecture which costs less computation resources and achieves better performance than the original one. Extensive qualitative and quantitative experiments are conducted to demonstrate the effectiveness of the proposed method. Moreover, we transplant the searched network architecture to other datasets which are not involved in the architecture searching procedure. Efficiency of the searched architecture on these datasets further demonstrates the generalization of the method.

研究动机与目标

• 解决人工设计的U-Net架构在图像到图像翻译任务中效率低下和冗余的问题。
• 为U-Net生成器开发一种定制化的神经架构搜索方法，重点关注通道数和跳跃连接。
• 优化模型性能与计算成本（FLOPs、参数量）之间的权衡。
• 评估所搜索架构在搜索过程中未使用过的数据集上的泛化能力。

提出的方法

• 使用进化算法搜索最优的U-Net生成器架构，基因型编码用于表示通道数和跳跃连接的存在性。
• 搜索空间包括编码器和解码器各层中可变的通道维度，以及对称层之间跳跃连接存在性的二元决策。
• 基于验证损失和FLOPs进行适应度评估，并引入正则化系数γ以平衡性能与效率。
• 搜索在Cityscapes数据集上进行，最佳架构在不重新训练搜索的情况下直接迁移至其他成对图像到图像数据集。
• 应用遗传操作（如变异和交叉）在多代中演化架构。
• 最终架构在语义分割和图像翻译指标上进行评估，包括Fréchet Inception Distance（FID）和FID分数。

实验结果

研究问题

• RQ1 自动化架构搜索方法能否发现比原始人工设计的U-Net生成器更高效且更准确的架构用于图像到图像翻译？
• RQ2 所搜索架构中的通道分布和跳跃连接模式与标准U-Net有何不同？其对性能有何影响？
• RQ3 所搜索架构在搜索数据集之外的图像到图像翻译任务中是否具备良好的泛化能力？
• RQ4 所搜索架构在模型效率（FLOPs、参数量）与性能（如FID、分割准确率）之间的权衡如何？
• RQ5 进化搜索方法能否有效优化U-Net这类具有跳跃连接和对称编码器-解码器模块的复杂结构化架构？

主要发现

• 在Cityscapes数据集上，所搜索架构的Fréchet Inception Distance（FID）分数低于原始U-Net，表明图像翻译质量更优。
• 所搜索模型的参数量比原始U-Net减少30%，FLOPs减少20%，同时在分割准确率上表现更优。
• 该架构未遵循标准U-Net中向瓶颈处通道数递增的模式；相反，浅层通道数更多，深层通道数更少。
• 跳跃连接被有选择性地保留——仅保留第一和第三个跳跃连接，表明长距离跳跃连接比短距离连接更为关键。
• 所搜索架构在未见数据集上泛化良好：在地图到卫星图像和廊屋到真实图像的翻译任务中，均优于原始U-Net，且无需重新训练搜索过程。
• 该方法发现原始U-Net中存在显著的参数冗余，而通过更少但更具策略性的通道和连接配置，即可实现高效性能。