[论文解读] Fast, Accurate and Lightweight Super-Resolution with Neural Architecture Search

Xiangxiang Chu, Bo Zhang+3 more|arXiv (Cornell University)|Jan 22, 2019

Advanced Image Processing Techniques参考文献 18被引用 86

一句话总结

本文提出 FALSR，在快速、准确、轻量级图像超分辨率的多目标神经结构搜索框架，使用弹性微/宏搜索和混合 RL-EA 生成 Pareto 最优模型。

ABSTRACT

Deep convolutional neural networks demonstrate impressive results in the super-resolution domain. A series of studies concentrate on improving peak signal noise ratio (PSNR) by using much deeper layers, which are not friendly to constrained resources. Pursuing a trade-off between the restoration capacity and the simplicity of models is still non-trivial. Recent contributions are struggling to manually maximize this balance, while our work achieves the same goal automatically with neural architecture search. Specifically, we handle super-resolution with a multi-objective approach. We also propose an elastic search tactic at both micro and macro level, based on a hybrid controller that profits from evolutionary computation and reinforcement learning. Quantitative experiments help us to draw a conclusion that our generated models dominate most of the state-of-the-art methods with respect to the individual FLOPS.

研究动机与目标

• 自动设计平衡重建质量与资源效率的 SR 模型。
• 探索用于 SR 架构的微观和宏观搜索空间的多目标 NAS。
• 利用混合控制器（强化学习 + 进化）生成多样化、高性能模型。
• 在给定约束下单次运行产生实用的 SR 模型。

提出的方法

• 定义用于 SR 网络的单元级微观搜索空间和单元间宏观搜索空间。
• 使用结合 RL 基础的开发与 EA 探索的混合控制器，在 NSGA-II 内生成模型结构。
• 将 SR 视为带约束的多目标优化，目标为 PSNR、乘加量和参数数量。
• 用两部分染色体编码模型（M_mic, M_mac）并通过交叉和变异策略进化。
• 采用不完全训练快速评估大量模型，筛选有前景的候选用于全训练。
• 将生成的模型与标准基准的最先进 SR 方法在可比 FLOPs 下进行比较（如 DIV2K）。

实验结果

研究问题

• RQ1 弹性微观/宏观 NAS 空间是否能在类似计算预算下产生性能优于手工设计网络的 SR 架构？
• RQ2 将混合 RL-EA 控制器是否提升多目标 NAS 在 SR 的探索-开发权衡？
• RQ3 多样化的单元级架构相对于密集/单块设计如何影响 SR 性能？
• RQ4 在受限 FLOPs 与参数量下，轻量化的 FALSR 变体是否能达到或超越 state-of-the-art SR 方法？

主要发现

• FALSR-A、FALSR-B、FALSR-C 在标准基准下以较低或相当的 FLOPs 与参数获得具有竞争力的 PSNR/SSIM。
• 在微观和宏观空间的弹性搜索产生多样化的单元和连接模式，在相似 FLOPs 下优于若干基线。
• 在固定 FLOP 预算下，FALSR 模型在多数据集上常常优于或接近 CARN、CARN-M、DRRN 等方法。
• 稠密互连并非总是最优；稀疏或混合连接配合多样化单元在资源约束下能获得更好的 SR 性能。
• 不完全训练使成千上万模型的高效筛选成为可能，完整训练留给 Pareto 前沿候选。
• Pareto 前沿展示了 PSNR 精度与计算成本之间的权衡，FALSR 变体占据有利区域。