[论文解读] CanvoX: High-resolution VR Painting in Large Volumetric Canvas

Yeojin Kim, Byung Moon Kim+2 more|arXiv (Cornell University)|Apr 10, 2017

Computer Graphics and Visualization Techniques参考文献 16被引用 3

一句话总结

CanvoX 引入了一种高分辨率的 VR 绘画系统，使艺术家能够在高达 40 km³ 的画布上以亚毫米级细节（0.3 mm³ 体素）创作体积绘画，利用深度 ≥24 的 CPU 加速深度八叉树实现动态细化，并通过 GPU 基础的精确光线投射实现实时渲染。该系统支持交互式、性能稳定的绘画，具备色彩混合与透明度功能，并通过艺术家定义的“房间”实现专注、可扩展的导航与对大规模 3D 场景中精细细节的欣赏。

ABSTRACT

With virtual reality, digital painting on 2D canvases is now being extended to 3D spaces. Tilt Brush and Oculus Quill are widely accepted among artists as tools that pave the way to a new form of art - 3D emmersive painting. Current 3D painting systems are only a start, emitting textured triangular geometries. In this paper, we advance this new art of 3D painting to 3D volumetric painting that enables an artist to draw a huge scene with full control of spatial color fields. Inspired by the fact that 2D paintings often use vast space to paint background and small but detailed space for foreground, we claim that supporting a large canvas in varying detail is essential for 3D painting. In order to help artists focus and audiences to navigate the large canvas space, we provide small artist-defined areas, called rooms, that serve as beacons for artist-suggested scales, spaces, locations for intended appreciation view of the painting. Artists and audiences can easily transport themselves between different rooms. Technically, our canvas is represented as an array of deep octrees of depth 24 or higher, built on CPU for volume painting and on GPU for volume rendering using accurate ray casting. In CPU side, we design an efficient iterative algorithm to refine or coarsen octree, as a result of volumetric painting strokes, at highly interactive rates, and update the corresponding GPU textures. Then we use GPU-based ray casting algorithms to render the volumetric painting result. We explore precision issues stemming from ray-casting the octree of high depth, and provide a new analysis and verification. From our experimental results as well as the positive feedback from the participating artists, we strongly believe that our new 3D volume painting system can open up a new possibility for VR-driven digital art medium to professional artists as well as to novice users.

研究动机与目标

• 将基于 VR 的 3D 绘画从表面网格渲染扩展到完整的体积绘画，支持空间色彩场。
• 解决现有系统仅产生薄而开放的表面笔触、色彩混合效果差且在重复笔触下性能下降的局限。
• 实现基于可见性与与艺术家定义的“房间”之间距离变化的分辨率可变的大规模 3D 绘画，以实现专注、可扩展的欣赏。
• 通过将八叉树细化任务卸载至 CPU 并使用 GPU 进行渲染，辅以高效的同步机制，在消费级硬件上保持交互性能。
• 通过坐标系优化与误差分析，解决深度八叉树光线投射中的精度问题，特别是遍历过程中误差累积的问题。

提出的方法

• 系统采用混合 CPU/GPU 架构：CPU 负责在绘画过程中构建深度八叉树并动态细化/粗化体积数据，而 GPU 执行精确的光线投射以实现实时体积渲染。
• 提出一种新型坐标系——单元本地坐标（cell-local coordinates），以防止光线漂移并最小化遍历过程中的角度误差，确保即使在深度八叉树中也能保持高精度。
• 八叉树数据结构通过 CPU 上的高效迭代算法动态更新，使系统能够对绘画笔触实时响应，且不会出现性能下降。
• 光线投射通过使用半精度浮点数运算的片段着色器实现，并通过实验误差分析验证，确保视觉保真度。
• 系统支持多个“房间”——艺术家定义的高细节区域——用户可在其中导航、缩放并欣赏精细特征，而画布其余部分则以较低分辨率渲染。
• 通过体积混合原生支持色彩混合与透明度，实现重叠笔触的自然混合，且无性能损失。

实验结果

研究问题

• RQ1 VR 绘画系统能否在保持交互性能的前提下，支持高达 40 km³ 的大规模 3D 体积画布（0.3 mm³ 体素分辨率）？
• RQ2 如何在不引起性能下降的情况下，高效实现重复笔触与色彩混合的体积绘画？
• RQ3 哪些技术可确保在深度 ≥24 的深度八叉树中实现高精度光线投射，且不会累积角度或位置误差？
• RQ4 艺术家定义的“房间”如何改善在大规模 3D 绘画空间中的导航与聚焦？其对渲染效率有何影响？
• RQ5 用于八叉树管理与渲染的混合 CPU/GPU 流水线能否实现复杂体积绘画任务的实时响应？

主要发现

• 系统成功渲染了 40 km³ 的体积画布，体素分辨率达 0.3 mm³，实现在交互帧率下的高保真、精细的 3D 绘画。
• 实验测量显示光线角度误差低至 7.5×10⁻⁹ 度，证实误差在深度八叉树遍历过程中不会累积。
• 与世界坐标相比，使用单元本地坐标显著减少了光线漂移与角度误差，解决了深度八叉树渲染中的关键精度问题。
• 艺术家报告称，该系统开启了新的创作可能，包括同时绘制大范围背景与精细前景细节，并重新定义 3D 空间中的透视关系。
• 混合 CPU/GPU 流水线在实现增量八叉树细化与渲染时保持了交互性能，即使在高深度八叉树下也支持重复绘画笔触与自然色彩混合。
• 系统支持多个房间以实现可扩展、聚焦的浏览，使艺术家可定义独立的欣赏区域，且无性能损失。