[论文解读] Foveated Rendering: Motivation, Taxonomy, and Research Directions

Susmija Jabbireddy, Xuetong Sun+2 more|arXiv (Cornell University)|May 9, 2022

Image and Video Quality Assessment被引用 14

一句话总结

本文全面综述了VR/AR中的foveated rendering技术，利用人眼视觉系统的局限性，仅在中央凹区域渲染高分辨率图像，从而降低计算负载。论文基于分辨率分布、注视依赖性、foveation空间和抗锯齿技术提出了一套分类体系，并识别出在大视场角显示设备中实现感知准确、高效实时渲染的关键挑战与未来研究方向。

ABSTRACT

With the recent interest in virtual reality and augmented reality, there is a newfound demand for displays that can provide high resolution with a wide field of view (FOV). However, such displays incur significantly higher costs for rendering the larger number of pixels. This poses the challenge of rendering realistic real-time images that have a wide FOV and high resolution using limited computing resources. The human visual system does not need every pixel to be rendered at a uniformly high quality. Foveated rendering methods provide perceptually high-quality images while reducing computational workload and are becoming a crucial component for large-scale rendering. In this paper, we present key motivations, research directions, and challenges for leveraging the limitations of the human visual system as they relate to foveated rendering. We provide a taxonomy to compare and contrast various foveated techniques based on key factors. We also review aliasing artifacts arising due to foveation methods and discuss several approaches that attempt to mitigate such effects. Finally, we present several open problems and possible future research directions that can further reduce computational costs while generating perceptually high-quality renderings.

研究动机与目标

• 解决在硬件资源有限的情况下，渲染高分辨率、大视场角VR/AR场景的计算挑战。
• 利用人眼视觉系统在周边视觉区域分辨力下降的特性，仅在视觉质量可感知损失的前提下最小化渲染工作量。
• 提出统一的分类体系，基于关键设计因素对比和分析foveated rendering技术。
• 识别并分析foveation引入的混叠伪影，回顾相应的缓解策略。
• 提出下一代AR/VR系统中实现感知质量高、成本低的实时渲染的开放问题与未来研究方向。

提出的方法

• 根据分辨率分布函数（系统与人眼视觉分辨力匹配程度）和注视依赖性（对注视方向的动态适应）对foveated rendering方法进行分类。
• 按foveation空间分类：图像空间（基于软件的渲染调整）和光学空间（基于硬件的透镜调制）。
• 整合眼动追踪器提供的注视信息，实现动态、注视相关的渲染，提升效率与感知质量。
• 回顾抗锯齿技术，包括利用深度学习从稀疏foveated输入生成高质量、无锯齿输出的方法。
• 研究感知因素，如视锥细胞密度、色觉分辨力、屈光不正及与年龄相关的视觉变化，以指导foveation设计。
• 提出未来研究方向，包括多用户foveated显示、结合长期记忆的显著性建模，以及改进的眼动预测以降低延迟。

实验结果

研究问题

• RQ1 如何在保持感知质量的前提下，有效降低大视场角、高分辨率VR/AR显示中的计算成本？
• RQ2 区分foveated rendering技术的关键设计维度是什么？如何系统性地对其进行分类？
• RQ3 混叠伪影在foveated rendering中如何产生？有哪些技术能有效缓解？
• RQ4 眼动追踪与眼动预测能在多大程度上提升foveated rendering系统的性能与真实感？
• RQ5 个体视觉感知差异（如眼 dominance 和与年龄相关的分辨力下降）在设计高效foveated rendering系统中起到什么作用？

主要发现

• 在100°视场角的HMD中，仅有4%的像素位于中央凹区域（2.5°），表明foveated rendering在计算节省方面极为有效。
• 通过仅在视觉分辨力最高的中央凹区域进行高分辨率渲染，foveated rendering可显著降低渲染工作量。
• 结合实时眼动追踪的注视相关foveated rendering可实现对用户注视的动态适应，提升效率与感知质量。
• 基于深度学习的抗锯齿方法可从稀疏foveated输入生成逼真、高质量的图像，减少可见伪影。
• 眼 dominance 和双眼周边视觉差异表明，非主导眼可容忍更高程度的foveation而不会造成感知质量下降。
• 亟需一种标准化的、基于感知的评估指标，以公平比较不同系统与应用场景下的foveated rendering技术。