[论文解读] HighRes-net: Recursive Fusion for Multi-Frame Super-Resolution of Satellite Imagery

Michel Deudon, Freddie Kalaitzis+8 more|arXiv (Cornell University)|Feb 15, 2020

Advanced Image Processing Techniques参考文献 42被引用 72

一句话总结

HighRes-net 引入一个端到端的多帧超分辨率模型，联合学习配准、融合、上采样以及用于卫星影像的注册损失，在 ESA 的 Kelvin 竞赛中取得了顶级结果。

ABSTRACT

Generative deep learning has sparked a new wave of Super-Resolution (SR) algorithms that enhance single images with impressive aesthetic results, albeit with imaginary details. Multi-frame Super-Resolution (MFSR) offers a more grounded approach to the ill-posed problem, by conditioning on multiple low-resolution views. This is important for satellite monitoring of human impact on the planet -- from deforestation, to human rights violations -- that depend on reliable imagery. To this end, we present HighRes-net, the first deep learning approach to MFSR that learns its sub-tasks in an end-to-end fashion: (i) co-registration, (ii) fusion, (iii) up-sampling, and (iv) registration-at-the-loss. Co-registration of low-resolution views is learned implicitly through a reference-frame channel, with no explicit registration mechanism. We learn a global fusion operator that is applied recursively on an arbitrary number of low-resolution pairs. We introduce a registered loss, by learning to align the SR output to a ground-truth through ShiftNet. We show that by learning deep representations of multiple views, we can super-resolve low-resolution signals and enhance Earth Observation data at scale. Our approach recently topped the European Space Agency's MFSR competition on real-world satellite imagery.

研究动机与目标

• 通过 MFSR 推动对卫星影像的扎实、可靠增强，以协助环境监测和政策行动。
• 开发一个端到端的架构，能够处理任意数量的 LR 帧的配准与融合。
• 在训练过程中通过 ShiftNet-Lanczos 引入一个 registered loss，使超分输出与高分辨真值对齐。
• 在真实 PROBA-V 卫星数据和比赛基准上展示最先进的性能。

提出的方法

• 用共享参考帧对每个 LR 视图进行编码，以实现隐式配准。
• 递归融合编码表示，产生一个全局潜在向量，支持可变数量的视图。
• 解码并上采样融合后的潜在表示，以生成超分辨图像。
• 使用 ShiftNet-Lanczos 学习亚像素级平移，在端到端训练中得到可微的、已注册的损失。
• 端到端训练以最小化联合损失，该损失结合了注册的重构损失和正则化的平移惩罚。

实验结果

研究问题

• RQ1 端到端深度架构是否能够从任意一组 LR 视图中学习 MFSR 的配准与融合？
• RQ2 通过 ShiftNet-Lanczos 引入的注册损失是否能提升 SR 质量，相对于未注册的损失？
• RQ3 在真实卫星数据上，HighRes-net 相较基线在 ESA Kelvin 竞赛中的表现如何？
• RQ4 输入视图数量对重建质量和泛化能力有什么影响？

主要发现

• HighRes-net 结合 ShiftNet-Lanczos 在 ESA Kelvin 公共和最终排行榜上取得最高分。
• 该方法能够联合学习融合与注册，使得对 MFSR 的端到端优化成为可能。
• 通过参考帧实现的隐式配准机制在没有显式注册模块的情况下提升了融合效果。
• 使用注册损失的端到端训练相比基线能够产生更清晰、更准确的超分输出。
• 在 PROBA-V 真实世界数据上的训练避免了合成下采样偏差，并展示了可扩展性和效率。