[论文解读] Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization

Jing Jin, Junhui Hou+2 more|arXiv (Cornell University)|Apr 5, 2020

Advanced Vision and Imaging参考文献 36被引用 7

一句话总结

本文提出了一种用于光场（LF）空间超分的深度学习框架，通过组合几何嵌入融合所有光场视角间的互补信息，并引入结构感知正则化模块以保持视差一致性。该方法实现了最先进性能，相较于先前方法，平均PSNR提升超过1.0 dB，同时计算成本更低。

ABSTRACT

Light field (LF) images acquired by hand-held devices usually suffer from low spatial resolution as the limited sampling resources have to be shared with the angular dimension. LF spatial super-resolution (SR) thus becomes an indispensable part of the LF camera processing pipeline. The high-dimensionality characteristic and complex geometrical structure of LF images make the problem more challenging than traditional single-image SR. The performance of existing methods is still limited as they fail to thoroughly explore the coherence among LF views and are insufficient in accurately preserving the parallax structure of the scene. In this paper, we propose a novel learning-based LF spatial SR framework, in which each view of an LF image is first individually super-resolved by exploring the complementary information among views with combinatorial geometry embedding. For accurate preservation of the parallax structure among the reconstructed views, a regularization network trained over a structure-aware loss function is subsequently appended to enforce correct parallax relationships over the intermediate estimation. Our proposed approach is evaluated over datasets with a large number of testing images including both synthetic and real-world scenes. Experimental results demonstrate the advantage of our approach over state-of-the-art methods, i.e., our method not only improves the average PSNR by more than 1.0 dB but also preserves more accurate parallax details, at a lower computational cost.

研究动机与目标

• 解决手持光场相机因传感器采样受限导致的空间分辨率低下的问题。
• 克服现有方法在充分挖掘视角间互补信息方面的局限性。
• 在重建的视角中保持准确的视差结构，以维持三维场景的几何保真度。
• 开发一种高效、端到端的基于学习的框架，同时提升光场超分的质量与速度。

提出的方法

• 采用All-to-One超分模块，通过几何感知嵌入机制学习所有角度视角间的组合相关性，独立地对每个光场视角进行超分。
• 引入一个结构一致性正则化网络，通过结构感知损失函数进行训练，以在高分辨率空间中强制保持正确的视差关系。
• 采用四维光场的双平面参数化方法，其中每个视角对应于固定角度位置的一个二维切片，从而实现对极平面几何的建模。
• 通过几何关系公式表述视差结构：$ L_{oldsymbol{u}}(oldsymbol{x}) = L_{oldsymbol{u}'}(oldsymbol{x} + d(oldsymbol{u}' - oldsymbol{u})) $，其中$ d $为视差。
• 通过对比中间重建结果与预期的极几何结构，训练正则化模块以最小化结构不一致性。
• 采用多阶段训练流程：首先训练All-to-One SR模块，然后通过正则化分支微调完整模型。

实验结果

研究问题

• RQ1 如何有效融合所有光场视角间的互补信息，以提升超分性能？
• RQ2 学习得到的正则化模块在重建光场中能在多大程度上保持场景的几何视差结构？
• RQ3 结构感知损失函数是否能提升极平面图像（EPIs）的保真度并增强结构一致性？
• RQ4 与最先进方法相比，所提方法是否能在更低计算成本下实现更高重建质量？

主要发现

• 在Stanford Lytro Archive和HCI数据集等基准数据集上，所提方法相较于最先进方法，平均PSNR提升超过1.0 dB。
• 在“Occlusion_43_eslf”和“Antiques_dense”等复杂场景中，结构一致性正则化模块可带来最高达0.5 dB的PSNR提升。
• 该方法在重建质量（PSNR/SSIM）和推理速度方面均优于ResLF及其他基于学习的方法，在RTX 2080 Ti上实现4倍重建时间仅7.43秒。
• EPI可视化结果表明，所提方法生成的线条更清晰、更一致，表明视差结构保持更优。
• 定量的LF边缘视差精确率-召回率曲线显示，所提方法结果更接近右上角，表明结构一致性更优。
• 在真实世界数据上，All-to-One融合策略相比All-to-All基线方法PSNR提升超过0.6 dB；在合成数据上提升超过1.0 dB。