[论文解读] Interactive Light Field Tilt-Shift Refocus with Generalized Shift-and-Sum

Martin Alain, Weston Aenchbacher+1 more|arXiv (Cornell University)|Oct 10, 2019

Advanced Vision and Imaging被引用 8

一句话总结

本文提出了一种广义的移位-求和框架，用于交互式光场倾斜-对焦重对焦，通过深度感知的点云可视化，实现用户对非正交对焦平面的直观控制。该方法支持三种输入方式——单点击、三点击和基于键盘的平面设定，展示了在模拟传统倾斜-对焦摄影时的鲁棒性与交互性，同时提升了用户引导与几何精度。

ABSTRACT

Since their introduction more than two decades ago, light fields have gained considerable interest in graphics and vision communities due to their ability to provide the user with interactive visual content. One of the earliest and most common light field operations is digital refocus, enabling the user to choose the focus and depth-of-field for the image after capture. A common interactive method for such an operation utilizes disparity estimations, readily available from the light field, to allow the user to point-and-click on the image to chose the location of the refocus plane. In this paper, we address the interactivity of a lesser-known light field operation: refocus to a non-frontoparallel plane, simulating the result of traditional tilt-shift photography. For this purpose we introduce a generalized shift-and-sum framework. Further, we show that the inclusion of depth information allows for intuitive interactive methods for placement of the refocus plane. In addition to refocusing, light fields also enable the user to interact with the viewpoint, which can be easily included in the proposed generalized shift-and-sum framework.

研究动机与目标

• 解决光场中非正交（倾斜-对焦）重对焦缺乏直观用户界面的问题。
• 利用深度信息与相机标定，实现相对于场景几何结构的交互式对焦平面定位。
• 将经典移位-求和方法扩展至支持任意平面重对焦表面，而不仅限于正交平面。
• 提供多种用户输入模式——点击式与基于键盘的输入，实现灵活且精确的平面设定。
• 在统一的广义框架中集成视点交互（视角偏移），实现完整的光场交互性。

提出的方法

• 提出一种广义的移位-求和公式，通过平面同调变换建模重对焦，将经典移位-求和方法扩展至非正交平面。
• 利用深度图与相机标定重建场景的三维点云，实现对焦平面相对于几何结构的可视化反馈。
• 实现单点击方法：用户在图像上选择一点，系统利用估计的表面法线计算对焦平面法向。
• 引入三点击方法：通过用户选定的三个点定义对焦平面，提升对深度图噪声的鲁棒性。
• 支持基于键盘的平面设定，使用距离与方向参数，实现对初始点击式估计的精细调整。
• 通过将相同的广义移位-求和框架应用于中间视图，实现交互式视点渲染，支持视角偏移。

实验结果

研究问题

• RQ1 如何在光场成像中实现非正交（倾斜-对焦）重对焦的交互性与直观性？
• RQ2 能否利用深度信息与三维场景几何结构，引导用户准确放置对焦平面？
• RQ3 不同用户输入方式（点击式与键盘式）在定义倾斜对焦平面方面的相对优势与局限性是什么？
• RQ4 广义移位-求和框架是否能统一支持倾斜-对焦重对焦与交互式视点渲染？
• RQ5 几何可视化如何提升用户对焦平面位置与场景之间几何关系的理解与控制？

主要发现

• 当深度图与法线图清晰时，单点击方法可在平面表面上实现快速、直观的对焦平面定位，但在复杂场景中对噪声敏感。
• 三点击方法提升了对深度图噪声的鲁棒性，并能更准确地定义跨越多个表面的平面。
• 基于键盘的设定方式精度最高，受深度估计误差影响最小，因此在精细调整中最为可靠。
• 通过三维点云与透明对焦平面提供的可视化反馈，显著增强了用户对焦平面与场景之间几何关系的理解。
• 广义移位-求和框架成功支持了倾斜-对焦重对焦与交互式视角偏移，证明其在标准正交重对焦之外的可扩展性。
• 真实光场数据（如HCI与Technicolor数据集）的实验结果表明，该方法能生成视觉上合理的倾斜-对焦效果，并保持一致的景深控制。