[論文レビュー] NeuMIP: Multi-Resolution Neural Materials

Alexandr Kuznetsov, Krishna Mullia+3 more|arXiv (Cornell University)|Apr 6, 2021

Computer Graphics and Visualization Techniques参考文献 18被引用数 12

ひとこと要約

NeuMIPは、ニューラルテクスチャのピラミッドと学習可能なオフセットモジュールを用いて、従来のミップマッピングを一般化するニューラルマルチリゾリューション材料表現を導入する。これにより、繊維、パララックス、自己影などの複雑な材料の外観を、トレスェレーションを伴わずに、複数の詳細度レベルで高精度に再現可能となる。本手法は、最小限のストレージとトレーニング時間（単一GPUで約45分）で高精細な結果を達成し、非線形な反射率および幾何的複雑性の処理において、先行技術を上回る性能を発揮する。

ABSTRACT

We propose NeuMIP, a neural method for representing and rendering a variety of material appearances at different scales. Classical prefiltering (mipmapping) methods work well on simple material properties such as diffuse color, but fail to generalize to normals, self-shadowing, fibers or more complex microstructures and reflectances. In this work, we generalize traditional mipmap pyramids to pyramids of neural textures, combined with a fully connected network. We also introduce neural offsets, a novel method which allows rendering materials with intricate parallax effects without any tessellation. This generalizes classical parallax mapping, but is trained without supervision by any explicit heightfield. Neural materials within our system support a 7-dimensional query, including position, incoming and outgoing direction, and the desired filter kernel size. The materials have small storage (on the order of standard mipmapping except with more texture channels), and can be integrated within common Monte-Carlo path tracing systems. We demonstrate our method on a variety of materials, resulting in complex appearance across levels of detail, with accurate parallax, self-shadowing, and other effects.

研究の動機と目的

• 法線、繊維、自己影などの複雑な材料特性を扱う際の古典的ミップマッピング技術の限界を解消すること。
• 従来のミップマッピングピラミッドを、マルチスケールで連続する双方向テクスチャ関数（MBTF）をサポートするニューラルテクスチャピラミッドへ一般化すること。
• 明示的なトレスェレーションや高さフィールド幾何学を用いずに、複雑な幾何的特徴（例：変位、パララックス）を高精度にレンダリングできること。
• 教師なしで学習するニューラルオフセットモジュールを設計し、学習されたテクスチャ座標の調整によってパララックス効果を再現すること。
• 標準のモンテカルロパストレイサーと互換性があり、ストレージとトレーニングオーバーヘッドを最小限に抑えた汎用的なニューラル材料表現を構築すること。

提案手法

• 本手法は、各レベルが異なるスケールの材料詳細のための学習済み特徴ベクトルを格納するマルチリゾリューションニューラルテクスチャピラミッドを用いる。
• 全結合ニューラルネットワークが、三線形補間された特徴ベクトルに加え、入射光方向と出射光方向を入力として、反射率値を出力する。
• 新規のニューラルオフセットモジュールが、視線方向に応じてテクスチャクエリ位置を学習的に調整することで、トレスェレーションを伴わずパララックス効果を実現する。
• 7次元の入力（位置：2次元、入射方向：2次元、出射方向：2次元、フィルターカーネルサイズ：1次元）をサポートし、スケールに適応したレンダリングを可能にする。
• トレーニングは、高さフィールドや明示的な幾何学に依存せず、解像度全体にわたってランダムに反射率クエリ（1テクセルあたり200～400回）をサンプリングすることで実施される。
• 本システムは標準のモンテカルロパストレイサーに統合可能であり、詳細度レベル間でのシームレスなレンダリングをサポートする。

実験結果

リサーチクエスチョン

• RQ1 ニューラル表現は、自己影や繊維構造などの複雑で非線形な材料特性を扱う古典的ミップマッピング技術を一般化できるか？
• RQ2 明示的な幾何学や高さフィールドの教師信号なしに、学習可能なオフセット機構がパララックス効果を再現できるか？
• RQ3 少ないストレージとトレーニングオーバーヘッドで、複数スケールにわたる多様な材料を統一したニューラルアーキテクチャで表現できるか？
• RQ4 1テクセルあたり少数のランダムクエリ（数個）で構築されたニューラルテクスチャピラミッドは、変化する照明条件や視点条件下でも高精細な外観を保持できるか？
• RQ5 明示的な幾何学を用いずに、古典的ミップマッピング技術で一般的なアーティファクトを引き起こす複雑なマイクロ構造の事前フィルタリングを高精度に実現できるか？

主な発見

• NeuMIPは、織物、ニット、繊維ベースの構造を含む複雑な材料を、複数の詳細度レベルで高精細にレンダリングし、正確なパララックスと自己影を再現する。
• ニューラルオフセットモジュールにより、トレスェレーションを伴わず、パストレイサーの基準画像と同等の外観のリアルなパララックス効果が実現される。
• 512²解像度の材料に対して単一GPUで約45分間のトレーニングで十分であり、明示的なBTF取得や高解像度幾何学生成に比べて著しく高速である。
• ストレージ要件は、標準のミップマッピングと同等（1テクセルあたり7チャンネル、3チャンネルではなく）であり、既存のレンダリングパイプラインへの効率的な統合が可能である。
• 詳細度レベル間の過渡が滑らかで、アーティファクトが最小限に抑えられ、異なる照明条件やカメラアングルにおいても強い視覚的一致性を示す。
• 本手法は材料タイプにわたる汎用性を備えており、合成データおよび実世界データの両方をサポートし、繊維幾何学や測定された反射率から得た材料にも適用可能である。