[論文レビュー] CanvoX: High-resolution VR Painting in Large Volumetric Canvas

Yeojin Kim, Byung Moon Kim+2 more|arXiv (Cornell University)|Apr 10, 2017

Computer Graphics and Visualization Techniques参考文献 16被引用数 3

ひとこと要約

CanvoXは、40 km³の巨大なボリュメトリックキャンバスに0.3 mm³のボクセルでサブミリメートル単位の詳細をもつ高解像度VRペインティングシステムを提供する。CPUアクセラレートされたディープオクトリース（深さ≥24）を用いて動的リファインメントを実現し、GPUベースの正確なレイキャストによりリアルタイムレンダリングを実現する。このシステムは、色の混合と透明度をサポートするインタラクティブでパフォーマンス安定のペインティングを可能にし、芸術家が定義する「ルーム」により、大規模な3Dシーンにおける詳細な部分に集中してナビゲート・鑑賞できる。

ABSTRACT

With virtual reality, digital painting on 2D canvases is now being extended to 3D spaces. Tilt Brush and Oculus Quill are widely accepted among artists as tools that pave the way to a new form of art - 3D emmersive painting. Current 3D painting systems are only a start, emitting textured triangular geometries. In this paper, we advance this new art of 3D painting to 3D volumetric painting that enables an artist to draw a huge scene with full control of spatial color fields. Inspired by the fact that 2D paintings often use vast space to paint background and small but detailed space for foreground, we claim that supporting a large canvas in varying detail is essential for 3D painting. In order to help artists focus and audiences to navigate the large canvas space, we provide small artist-defined areas, called rooms, that serve as beacons for artist-suggested scales, spaces, locations for intended appreciation view of the painting. Artists and audiences can easily transport themselves between different rooms. Technically, our canvas is represented as an array of deep octrees of depth 24 or higher, built on CPU for volume painting and on GPU for volume rendering using accurate ray casting. In CPU side, we design an efficient iterative algorithm to refine or coarsen octree, as a result of volumetric painting strokes, at highly interactive rates, and update the corresponding GPU textures. Then we use GPU-based ray casting algorithms to render the volumetric painting result. We explore precision issues stemming from ray-casting the octree of high depth, and provide a new analysis and verification. From our experimental results as well as the positive feedback from the participating artists, we strongly believe that our new 3D volume painting system can open up a new possibility for VR-driven digital art medium to professional artists as well as to novice users.

研究の動機と目的

• VRベースの3Dペインティングを表面メッシュレンダリングの範囲を超え、空間的な色フィールドを有する完全なボリュメトリックペインティングに拡張すること。
• 既存のシステムが薄く、開かれた表面のストロークしか生成せず、色の混合が不十分で、繰り返しのストロークによってパフォーマンスが劣化することを是正すること。
• 芸術家が定義した「ルーム」に基づき、可視性や距離に応じた可変解像度を用いて、大規模な3Dペインティングを可能にし、焦点的でスケーラブルな鑑賞を実現すること。
• オクトリースのリファインメントをCPUに、レンダリングをGPUに割り当て、効率的な同期をとることで、コンsumerハードウェアでもインタラクティブなパフォーマンスを維持すること。
• 特にトレバーシング中の誤差蓄積を懸念する精度問題を、座標系最適化と誤差解析により解決すること。

提案手法

• 本システムはハイブリッドCPU/GPUアーキテクチャを採用：CPUがペインティング中にボリュメトリックデータのオクトリース構築と段階的リファインメント／粗粒化を管理し、GPUがリアルタイムボリュームレンダリングのための正確なレイキャストを実行する。
• レイのドリフトを防ぎ、トレバーシング中の角度誤差を最小限に抑えるために、新規の座標系「セルローカル座標」を導入し、ディープオクトリースでも高精度を確保する。
• オクトリースデータ構造は、CPU上で効率的な反復アルゴリズムにより動的に更新され、パフォーマンス劣化なしにペインティングスティックへの即応が可能になる。
• レイキャストはフラグメントシェーダーを用い、半精度浮動小数点演算で実装され、実験的誤差解析により視覚的忠実度が検証されている。
• 本システムは複数の「ルーム」（芸術家が定義した高解像度領域）をサポートし、ユーザーはそこにナビゲートし、ズームインして細部を鑑賞可能となる。一方、キャンバスの他の領域は低解像度でレンダリングされる。
• 色の混合と透明度はボリュメトリックブレンドによってネイティブにサポートされ、パフォーマンスコストなしに重ね塗りの自然な混合が実現できる。

実験結果

リサーチクエスチョン

• RQ1 VRペインティングシステムは、40 km³の大型ボリュメトリックキャンバスに0.3 mm³のボクセル解像度でサブミリメートル単位の詳細をもつが、インタラクティブなパフォーマンスを維持できるか？
• RQ2 繰り返しのストロークと色の混合を伴うボリュメトリックペインティングを、パフォーマンス劣化なしに効率的に実装するにはどうすればよいか？
• RQ3 深さ≥24のディープオクトリースにおいて、角度誤差や位置誤差が蓄積されない高精度なレイキャストを実現するにはどのような技術が必要か？
• RQ4 芸術家が定義する「ルーム」は、大規模な3Dペインティング空間におけるナビゲーションと集中をどのように向上させ、レンダリング効率にどのような影響を与えるか？
• RQ5 オクトリース管理とレンダリングにハイブリッドCPU/GPUパイプラインを採用した場合、複雑なボリュメトリックペインティングタスクにおいてもリアルタイム応答性を達成できるか？

主な発見

• 本システムは、40 km³のボリュメトリックキャンバスに0.3 mm³のボクセル解像度で高精細で詳細な3Dペインティングを、インタラクティブなフレームレートでレンダリングすることに成功した。
• 実験的測定により、レイの角度誤差は最大で7.5×10⁻⁹度にまで低下し、ディープオクトリーストレバーシング中に誤差が蓄積されないことが確認された。
• セルローカル座標の導入により、ワールド座標と比較してレイのドリフトと角度誤差が低減され、ディープオクトリースレンダリングにおける重要な精度問題が解決された。
• 芸術家からのフィードバックでは、本システムにより、大規模な背景と細かな前面のディテールを同時にペイント可能となり、3D空間における視点の再定義が可能になったと報告された。
• ハイブリッドCPU/GPUパイプラインにより、高深さオクトリースでさえも、段階的リファインメントとレンダリングに於いてインタラクティブなパフォーマンスが達成され、自然な色の混合を伴う繰り返しのペイントスティックが可能になった。
• 複数のルームを用いたスケーラブルで焦点を絞った鑑賞が可能となり、パフォーマンスコストなしに芸術家が独立した鑑賞ゾーンを定義できるようになった。