[논문 리뷰] CanvoX: High-resolution VR Painting in Large Volumetric Canvas

Yeojin Kim, Byung Moon Kim외 2명|arXiv (Cornell University)|2017. 04. 10.

Computer Graphics and Visualization Techniques참고 문헌 16인용 수 3

한 줄 요약

CanvoX는 40 km³의 막대한 캔버스에 0.3 mm³ 해상도의 입자로 초고해상도 VR 페인팅 시스템을 제공하며, 깊이 ≥24인 CPU 가속된 깊은 옥트리(깊이 ≥24)를 사용해 동적 정밀도 향상과 GPU 기반 정확한 레이 캐스팅을 통해 실시간 렲링더링을 구현한다. 이 시스템은 색상 혼합과 투명도를 지원하는 인터랙티브하고 성능 안정적인 페인팅을 가능하게 하며, 예술가가 정의한 '룸'을 통해 큰 3D 장면에서 세밀한 디테일을 집중적으로 탐색하고 감상할 수 있도록 한다.

ABSTRACT

With virtual reality, digital painting on 2D canvases is now being extended to 3D spaces. Tilt Brush and Oculus Quill are widely accepted among artists as tools that pave the way to a new form of art - 3D emmersive painting. Current 3D painting systems are only a start, emitting textured triangular geometries. In this paper, we advance this new art of 3D painting to 3D volumetric painting that enables an artist to draw a huge scene with full control of spatial color fields. Inspired by the fact that 2D paintings often use vast space to paint background and small but detailed space for foreground, we claim that supporting a large canvas in varying detail is essential for 3D painting. In order to help artists focus and audiences to navigate the large canvas space, we provide small artist-defined areas, called rooms, that serve as beacons for artist-suggested scales, spaces, locations for intended appreciation view of the painting. Artists and audiences can easily transport themselves between different rooms. Technically, our canvas is represented as an array of deep octrees of depth 24 or higher, built on CPU for volume painting and on GPU for volume rendering using accurate ray casting. In CPU side, we design an efficient iterative algorithm to refine or coarsen octree, as a result of volumetric painting strokes, at highly interactive rates, and update the corresponding GPU textures. Then we use GPU-based ray casting algorithms to render the volumetric painting result. We explore precision issues stemming from ray-casting the octree of high depth, and provide a new analysis and verification. From our experimental results as well as the positive feedback from the participating artists, we strongly believe that our new 3D volume painting system can open up a new possibility for VR-driven digital art medium to professional artists as well as to novice users.

연구 동기 및 목표

• 표면 메쉬 렲링더링을 넘어서 공간 색상 필드를 갖춘 완전한 부피 페인팅을 가능하게 하는 것.
• 기존 시스템이 얇고 개방된 표면 스트로크만 생성하고 색상 혼합이 불량하며 반복 스트로크 시 성능 저하를 겪는 한계를 해결하는 것.
• 예술가가 정의한 '룸' 기반으로 가시성과 거리에 따라 해상도를 다양화함으로써 대규모 3D 페인팅에서 집중적이고 스케일러블한 감상이 가능하도록 하는 것.
• 옥트리 정밀도 향상을 CPU에 위임하고 렌더링은 GPU에 맡기며 효율적인 동기화를 통해 일반 하드웨어에서도 상호작용 성능을 유지하는 것.
• 깊은 옥트리 레이 캐스팅에서 발생하는 정밀도 문제, 특히 트래버스 중 누적 오류를 좌표계 최적화와 오차 분석을 통해 해결하는 것.

제안 방법

• 시스템은 하이브리드 CPU/GPU 아키텍처를 사용한다: CPU는 페인팅 중 부피 데이터의 깊은 옥트리 구축 및 점진적 정밀도 향상/粗화를 관리하고, GPU는 실시간 부피 렌더링을 위한 정확한 레이 캐스팅을 수행한다.
• 레이 트래버스 중 레이 드리프트와 각도 오차를 방지하기 위해 새로운 좌표계인 '셀 로컬 좌표계'를 도입하여 깊은 옥트리에서도 정밀도를 확보한다.
• 옥트리 데이터 구조는 CPU에서 효율적인 반복 알고리즘을 통해 동적으로 업데이트되어 페인팅 스트로크에 실시간 반응을 보이며 성능 저하 없이 작동한다.
• 레이 캐스팅은 반정밀도 부동소수점 산술을 사용하는 프래그먼트 색더로 구현되었으며, 실험적 오차 분석을 통해 시각적 정밀도가 확보되었다.
• 시스템은 예술가가 정의한 고해상도 영역인 '룸'을 여러 개 지원하며, 사용자는 룸 내에서 탐색, 확대, 세밀한 특징 감상을 할 수 있고, 나머지 캔버스는 낮은 해상도로 렌더링된다.
• 색상 혼합과 투명도는 부피 블렌딩을 통해 네이티브로 지원되어 성능 부담 없이 자연스러운 겹침 스트로크 혼합이 가능하다.

실험 결과

연구 질문

• RQ1 40 km³의 대규모 3D 부피 캔버스에 0.3 mm³ 해상도로 상호작용 성능을 유지하면서 초고해상도 VR 페인팅을 지원할 수 있는가?
• RQ2 반복 스트로크와 색상 혼합을 수행할 때 성능 저하 없이 효율적으로 부피 페인팅을 어떻게 실현할 수 있는가?
• RQ3 깊이 ≥24인 깊은 옥트리에서 각도나 위치 오차가 누적되지 않도록 고정밀도 레이 캐스팅을 보장할 수 있는 기법은 무엇인가?
• RQ4 예술가가 정의한 '룸'은 거대한 3D 페인팅 공간에서 탐색과 집중을 어떻게 향상시키며, 이는 렌더링 효율성에 어떤 영향을 미치는가?
• RQ5 옥트리 관리와 렌더링에 하이브리드 CPU/GPU 파이프라인을 적용할 경우, 복잡한 부피 페인팅 작업에서 실시간 반응성을 달성할 수 있는가?

주요 결과

• 시스템은 40 km³의 부피 캔버스를 0.3 mm³ 해상도의 볼륨 레이어로 성공적으로 렌더링하여 상호작용 프레임 레이트에서 고정밀도, 세밀한 3D 페인팅을 가능하게 했다.
• 실험적으로 측정한 레이 각도 오차는 최소 7.5×10⁻⁹ 도로 낮아 깊은 옥트리 트래버스 중 오차가 누적되지 않음을 확인했다.
• 세로컬 좌표계를 사용함으로써 월드 좌표계 대비 레이 드리프트와 각도 오차를 감소시켜 깊은 옥트리 렌더링에서 핵심적인 정밀도 문제를 해결했다.
• 예술가들은 시스템을 통해 대규모 배경과 세밀한 전경 디테일을 동시에 페인팅할 수 있는 새로운 창작 가능성을 경험했으며, 3D 공간에서의 시점 재정의도 가능했다.
• 하이브리드 CPU/GPU 파이프라인은 심도가 깊은 옥트리에서도 점진적 옥트리 정밀도 향상과 렌더링에 대해 상호작용 성능을 달성했으며, 자연스러운 색상 혼합이 가능한 반복 스트로크를 지원했다.
• 여러 개의 룸을 지원함으로써 스케일러블하고 집중적인 시각화가 가능했으며, 예술가가 별도의 감상 영역을 정의해도 성능 저하 없이 작동했다.