[論文レビュー] ControlMat: A Controlled Generative Approach to Material Capture

Giuseppe Vecchio, R Víctor San Martín+5 more|arXiv (Cornell University)|Sep 4, 2023

Generative Adversarial Networks and Image Synthesis参考文献 61被引用数 4

ひとこと要約

ControlMatは、制御されていない照明条件下の1枚の写真から、高解像度でタイル可能な物理的に整合性のある材料特性（ベースカラー、粗さ、金属性、ノーマル、高さ、透明度）を推定する、拡散ベースの生成フレームワークを導入する。ControlNetの条件付け、ノイズローリング、パッチド拡散、マルチスケール推論を組み合わせることで、高精度でタイル可能な材料生成を実現し、従来の最適化手法やGANベースの手法を凌駆する。

ABSTRACT

Material reconstruction from a photograph is a key component of 3D content creation democratization. We propose to formulate this ill-posed problem as a controlled synthesis one, leveraging the recent progress in generative deep networks. We present ControlMat, a method which, given a single photograph with uncontrolled illumination as input, conditions a diffusion model to generate plausible, tileable, high-resolution physically-based digital materials. We carefully analyze the behavior of diffusion models for multi-channel outputs, adapt the sampling process to fuse multi-scale information and introduce rolled diffusion to enable both tileability and patched diffusion for high-resolution outputs. Our generative approach further permits exploration of a variety of materials which could correspond to the input image, mitigating the unknown lighting conditions. We show that our approach outperforms recent inference and latent-space-optimization methods, and carefully validate our diffusion process design choices. Supplemental materials and additional details are available at: https://gvecchio.com/controlmat/.

研究の動機と目的

• 制御されていない照明条件下での1枚の画像からの材料抽出という不適切に定式化された問題に対処するため、制御された生成合成タスクとして定式化すること。
• 制御された照明や複数回の撮影を必要とせず、高解像度でタイル可能かつ物理的に妥当な材料生成を可能にすること。
• GANベースや潜在変数最適化手法の限界（モード崩壊や不安定性）を、拡散モデルの安定性と制御可能性を活用することで克服すること。
• 任意の解像度での生成を可能にしつつ、タイル性を保持しアーチファクトを最小限に抑える拡散推論プロセスを設計すること。
• アーキテクチャ的および推論時における変更の有効性を、アブレーションと最先端手法との定量的比較を通じて検証すること。

提案手法

• ControlMatは、Substance 3D Materialsデータベースから得た1000万件のPBR材料レンダリングを学習データとして用いた潜在拡散モデル（MatGen）を用い、9チャンネルのSVBRDF出力を生成する。
• 1枚の入力写真を条件付けとして、拡散プロセスを制御するためのControlNetを学習し、画像ガイドドの材料特性生成を可能にする。
• タイル可能な出力生成を実現するため、ノイズ除去の過程でノイズローリングを導入し、周期的境界条件を強制する。
• ピークメモリ消費量を削減するため、パッチド拡散とデコードを採用し、一定のメモリ使用量で4K解像度まで生成可能にする。
• 特徴の忠実度を向上させるためにマルチスケール拡散を用い、重複するパッチのブレンドと平均マッチングによりシームを除去する。
• タイル性の強制中に構造を保持し、ずれを是正するため、境界補填（インpainting）を適用する。

実験結果

リサーチクエスチョン

• RQ1 1枚の制御されていない照明の写真を効果的に条件付けとして用いることで、高解像度で物理的に整合性があり、タイル可能な材料を生成できるか？
• RQ2 拡散サンプリングプロセスをどのように変更すれば、解像度や品質を損なわずにタイル性を保証できるか？
• RQ3 マルチスケール、パッチド、ロールドノイズ戦略が、限られたメモリで高解像度生成を可能にする役割は何か？
• RQ4 FIDや多様性、照明変動へのロバストネスの観点から、最適化ベースやGANベースの手法と比較して、生成アプローチはどの程度優れているか？
• RQ5 モデルは構造的または確率的な材料にどの程度一般化できるか。失敗はどこで発生するか？

主な発見

• ControlMatは、最近の推論および潜在最適化手法（GANベースやCLIPベースの画像翻訳を含む）と比較して、質的・定量的に優れた結果を達成した。
• アブレーションスタディにより、ノイズローリング、パッチドデコード、平均マッチング、マルチスケール拡散の各モジュールが、タイル性の向上とアーチファクトの低減に顕著に寄与することが確認された。
• パッチドデコードを用いることで、2K解像度におけるピークメモリ消費量が20GBから14GBに削減され、かつて不可能だった4K生成が可能になった。
• 補足資料による検証で、最小限のシームと信号の損失を伴いながら、4Kのタイル可能な材料が正常に生成された。
• 生成的性質にもかかわらず、ControlMatは高い知覚的忠実度の結果を生成したが、強いヴィニェティングがかかるような困難なケースでは、わずかな色調のずれや誤った金属性の割り当てが発生する可能性がある。
• フラッシュ照明入力に対しても良好に一般化されることから、今後の取得精度の向上に向けた可能性が示唆された。