[论文解读] Fast and Efficient Lenslet Image Compression

Hadi Amirpour, António Pinheiro+2 more|arXiv (Cornell University)|Jan 27, 2019

Advanced Vision and Imaging参考文献 23被引用 4

一句话总结

本文提出了一种基于HEVC的快速高效镜头元图像压缩方法，通过将子孔径图像组织为新型GOP结构的之字形扫描伪序列，并引入CTU深度预测。通过将图像划分为四个区域，以中心视图作为参考，并支持并行编码，该方法在编码时间上最多减少80%，同时在率失真效率方面优于最先进方法，且质量损失极小。

ABSTRACT

Light field imaging is characterized by capturing brightness, color, and directional information of light rays in a scene. This leads to image representations with huge amount of data that require efficient coding schemes. In this paper, lenslet images are rendered into sub-aperture images. These images are organized as a pseudo-sequence input for the HEVC video codec. To better exploit redundancy among the neighboring sub-aperture images and consequently decrease the distances between a sub-aperture image and its references used for prediction, sub-aperture images are divided into four smaller groups that are scanned in a serpentine order. The most central sub-aperture image, which has the highest similarity to all the other images, is used as the initial reference image for each of the four regions. Furthermore, a structure is defined that selects spatially adjacent sub-aperture images as prediction references with the highest similarity to the current image. In this way, encoding efficiency increases, and furthermore it leads to a higher similarity among the co-located Coding Three Units (CTUs). The similarities among the co-located CTUs are exploited to predict Coding Unit depths.Moreover, independent encoding of each group division enables parallel processing, that along with the proposed coding unit depth prediction decrease the encoding execution time by almost 80% on average. Simulation results show that Rate-Distortion performance of the proposed method has higher compression gain than the other state-of-the-art lenslet compression methods with lower computational complexity.

研究动机与目标

• 为解决光场相机产生的镜头元图像数据量过大，阻碍实际部署的问题。
• 通过利用子孔径图像之间的空间和角度冗余，提升镜头元图像的压缩效率。
• 在不牺牲率失真性能的前提下，降低编码复杂度。
• 通过解耦子孔径图像组，实现镜头元压缩中的并行处理。

提出的方法

• 从原始镜头元数据渲染出子孔径图像，并将其组织为HEVC视频编码的伪序列。
• 引入之字形扫描顺序，通过将子孔径图像划分为四个空间区域，以减少预测距离。
• 以最中心的子孔径图像作为每个区域的初始参考，以最大化与邻近视图的相似性。
• 提出一种新型GOP结构，基于相似性选择空间相邻的子孔径图像作为预测参考，提升预测准确性。
• 提出一种CTU深度预测方法，以利用共位置编码单元之间的相似性，降低编码复杂度。
• 各区域独立编码，支持并行处理，显著减少整体编码时间。

实验结果

研究问题

• RQ1 在分组的子孔径图像之间采用之字形扫描顺序，是否能提升镜头元压缩中的预测效率？
• RQ2 将中心子孔径图像用作每组的参考，对率失真性能有何影响？
• RQ3 基于共位置单元相似性的CTU深度预测，能在多大程度上降低编码复杂度？
• RQ4 独立区域编码能否在镜头元压缩中实现有效的并行处理？
• RQ5 与现有最先进的镜头元压缩技术相比，该方法在率失真性能和复杂度方面表现如何？

主要发现

• 在测试序列中，该方法的平均编码时间减少幅度为79.06%至80.74%（ΔTp），平均减少80.13%。
• 即使在不启用并行处理的情况下，使用CTU深度预测方法后，计算复杂度平均降低37.07%（ΔTs）。
• 在4:2:2色度子采样下，率失真性能优于LAP、MuLe和WasP，平均BDPSNR为-0.0132 dB，BDBR为0.5495%。
• 该方法保持了高图像质量，失真损失可忽略不计，SSIM和PSNR-Y曲线显示其优于基线之字形扫描及其他最先进方法。
• 使用中心子孔径图像作为参考以及空间相邻参考，提升了预测准确性，从而带来更高的压缩效率。
• 独立区域编码支持有效的并行处理，使该方法在实时或高吞吐量应用中极具适用性。