[論文レビュー] Neural Intersection Function

Shin Fujieda, Chih-Chen Kao+1 more|arXiv (Cornell University)|Jan 1, 2023

Computer Graphics and Visualization Techniques被引用数 3

ひとこと要約

本稿では、不規則で分岐が生じるボトムレベルのBVH走査を、密行列積を用いる多層パーセプトロン（MLP）に置き換えることで、GPU上のモンテカルロレイトラーシングにおけるレイキャスティングを高速化するニューラルネットワークベースの新手法Neural Intersection Function（NIF）を提案する。NIFは、可視性を特徴グリッドとレイアリーシングに不変なレイパrameterizationを用いて符号化することで、画像品質を維持したまま二次レイキャスティングを最大35％高速化する。

ABSTRACT

The ray casting operation in the Monte Carlo ray tracing algorithm usually adopts a bounding volume hierarchy (BVH) to accelerate the process of finding intersections to evaluate visibility. However, its characteristics are irregular, with divergence in memory access and branch execution, so it cannot achieve maximum efficiency on GPUs. This paper proposes a novel Neural Intersection Function based on a multilayer perceptron whose core operation contains only dense matrix multiplication with predictable memory access. Our method is the first solution integrating the neural network-based approach and BVH-based ray tracing pipeline into one unified rendering framework. We can evaluate the visibility and occlusion of secondary rays without traversing the most irregular and time-consuming part of the BVH and thus accelerate ray casting. The experiments show the proposed method can reduce the secondary ray casting time for direct illumination by up to 35% compared to a BVH-based implementation and still preserve the image quality.

研究の動機と目的

• GPUベースのレイトラーシングにおけるBVH走査の性能ボトルネックを解消すること。この問題は不規則なメモリアクセスと分岐分岐性に起因する。
• ニューラルネットワークが、BVH走査パイプラインの中で最も不規則な部分を、規則的かつGPUに適した計算に置き換えられるかを検討すること。
• ニューラル可視性予測（NIF）を従来のBVHベースのレイトラーシングと統合する統一されたレンダリングフレームワークを構築すること。
• 複雑なシーン（多数の三角形を含む）において、顕著なレイキャスティング性能向上を実現しながらも、高い画像品質を維持すること。

提案手法

• BVHツリーを走査せずにレイオブジェクト衝突を予測する多層パーセプトロン（MLP）ベースのニューラルインターセクション関数（NIF）を提案する。
• レイが当該オブジェクトの軸に揃えたバウンディングボックス（AABB）の外側または内側から出るかに応じて、別々のニューラルネットワーク（外側用および内側用）を採用する。
• 当該オブジェクトのAABBに条件付けられた潜在ベクトルを格納する特徴グリッドを用い、局所的適応性とオブジェクト間での一般化性を向上させる。
• レイアリーシングに不変な新しい入力パラメータ化を導入し、レイがAABBの外側から出る場合はレイの原点をAABBとの交点に変換し、内側から出る場合は座標依存の潜在コードを用いることで、レイアリーシングに起因する不一致を解消する。
• モンテカルロサンプリングを用いて、現在の視点からのレイを用いてネットワークを学習させ、二次レイの効率的推論を可能にする。
• ハイブリッドレンダリングパイプラインにNIFを統合：NIFは複雑なモデル（10万三角形以上）を処理し、シンプルなジオメトリには従来のBVHを用いることで、標準的なレイトラーシングと互換性を保つ。

実験結果

リサーチクエスチョン

• RQ1 画像品質を維持したまま、GPU上で性能を向上させつつ、BVH走査のボトムレベルをニューラルネットワークで置き換えられるか？
• RQ2 レイアリーシングに不変な入力パラメータ化をどのように設計すれば、同等のレイに対して一貫した衝突予測が得られるか？
• RQ3 NIFは、BVHベースの基準と比較して、複雑なシーンにおける二次レイキャスティング時間の短縮にどの程度寄与できるか？
• RQ4 NIFは、完全なアーキテクチャの刷新を要せず、既存のレイトラーシングパイプラインに統合可能か？また、幾何的複雑性に伴い、スケーリングはどの程度可能か？

主な発見

• NIFは、複雑なシーンにおいてBVHベースのレイトラーシングと比較して、二次レイキャスティング時間を最大35％短縮し、観察された最大スピードアップは1.53倍であった。
• NIFとBVHベースのレンダリングの間でPSNRが39.11 dBに達しており、画像品質がほぼ同一であることを示している。
• 5000万三角形（STATUETTES）のシーンでは、複雑なモデルに対してNIFを部分的に適用した場合、レイキャスティング時間を約15％短縮した。
• NIFは幾何的複雑性に依存しない一定のメモリフットプリントと実行時間を持つため、極めて詳細なモデルに対してはBVHよりもスケーラブルである。
• BVH走査の分岐分岐性が高いシーン（多数の小さなまたは複雑なオブジェクトを含む）において、性能向上が顕著に現れた。
• 内部BVH走査時間の変動が著しい場合でも、AABBとの交差レイ数が同程度のシーンでは、NIFは一貫した性能を維持した。