[论文解读] A Study of Efficient Light Field Subsampling and Reconstruction Strategies

Yang Chen, Martin Alain+1 more|arXiv (Cornell University)|Aug 11, 2020

Ocular and Laser Science ResearchMedicine被引用 20

一句话总结

本文研究了高效的光场子采样与重建策略，以提升实际应用中的角度分辨率。评估了行方向、列方向和棋盘格子采样模式，并对比了六种从稀疏角落视图生成中间视图的重建方法。主要发现是，采用行方向子采样后接列方向重建的策略表现最佳，在全角度密度下实现了37.34 dB的PSNR和0.9886的SSIM。

ABSTRACT

Limited angular resolution is one of the main obstacles for practical applications of light fields. Although numerous approaches have been proposed to enhance angular resolution, view selection strategies have not been well explored in this area. In this paper, we study subsampling and reconstruction strategies for light fields. First, different subsampling strategies are studied with a fixed sampling ratio, such as row-wise sampling, column-wise sampling, or their combinations. Second, several strategies are explored to reconstruct intermediate views from four regularly sampled input views. The influence of the angular density of the input is also evaluated. We evaluate these strategies on both real-world and synthetic datasets, and optimal selection strategies are devised from our results. These can be applied in future light field research such as compression, angular super-resolution, and design of camera systems.

研究动机与目标

• 识别最优的光场子采样与重建策略，以在实际应用中提升角度分辨率。
• 评估不同子采样模式（行方向、列方向、棋盘格）在固定采样率下的重建质量影响。
• 对比多种重建策略，从3×3网格中的四个角落视图生成中间视图。
• 通过多阶段重建方法分析角度密度对重建质量的影响。
• 为光场压缩、相机系统设计及超分辨率研究提供可操作的见解。

提出的方法

• 选择一种最先进的视图合成方法（SepConv）作为所有子采样与重建策略评估的基准。
• 在真实世界（HCP、Lytro）和合成（Stanford）光场数据集上测试子采样策略，所有视图裁剪为512×512分辨率以提升计算效率。
• 重建策略包括2D H-V（先水平后垂直）、2D V-H（先垂直后水平）、对角线方法，以及使用微调后的SepConv模型实现的4D全向/对角线方法。
• 采用多阶段重建方法递归地从稀疏输入生成密集光场，共设置三个角度密度等级（Level 1–3），结果在所有视图上取平均。
• 通过PSNR和SSIM对RGB图像进行定量评估，计算每个光场所有视图的平均得分。
• 为确保方法间公平比较，对2D策略进行微调，对4D策略进行重新训练。

实验结果

研究问题

• RQ1 在固定采样率下，哪种子采样模式——行方向、列方向或棋盘格——能产生最佳重建质量？
• RQ2 哪种重建策略——2D H-V、2D V-H、对角线或4D方法——能从四个角落视图生成最高质量的中间视图？
• RQ3 在多阶段重建流水线中，角度密度如何影响重建光场的质量？
• RQ4 最优的子采样与重建策略是否可推广至具有不同采集几何结构的多样化光场数据集？
• RQ5 在光场应用中，子采样效率与重建保真度之间的权衡是什么？

主要发现

• 行方向子采样在所有数据集上均显著优于列方向和棋盘格模式，平均PSNR达39.74 dB，SSIM达0.9925。
• 2D H-V重建策略（行方向后接列方向插值）实现了最高的PSNR（37.42 dB）和SSIM（0.9884），优于其他2D与4D策略。
• 棋盘格子采样表现最差，可能由于在为4视图输入微调SepConv时模型适应不佳。
• 随着角度密度从Level 1降至Level 3，PSNR从37.34 dB降至31.79 dB，SSIM从0.9886降至0.9613，证实了稀疏性与质量之间存在明确权衡。
• 视觉分析显示，对角线重建策略在深度不连续区域（如剑尖）易产生遮挡伪影。
• 多阶段2D H-V策略被证实是从稀疏角落视图重建密集光场的最优方法，尤其当输入视图在空间上分布良好时。