[論文レビュー] Text2Light: Zero-Shot Text-Driven HDR Panorama Generation

Zhaoxi Chen, Guangcong Wang+1 more|arXiv (Cornell University)|Sep 20, 2022

Advanced Vision and Imaging被引用数 10

ひとこと要約

Text2Lightは、対応する学習データが不要なゼロショット、テキスト駆動型フレームワークを提案し、4K以上の解像度のHDRパノラマを生成する。まず、二重コードブックとCLIP駆動のサンプリング機構を用いて低域動的範囲（LDR）、低解像度のパノラマを生成し、その後、球面的な潜在表現を用いてそれをスーパーサンプリングおよび逆トーンマップ処理することで、自由形式のテキストプロンプトに一致する高精細で写真のようにリアルなHDRIsを実現する。

ABSTRACT

High-quality HDRIs(High Dynamic Range Images), typically HDR panoramas, are one of the most popular ways to create photorealistic lighting and 360-degree reflections of 3D scenes in graphics. Given the difficulty of capturing HDRIs, a versatile and controllable generative model is highly desired, where layman users can intuitively control the generation process. However, existing state-of-the-art methods still struggle to synthesize high-quality panoramas for complex scenes. In this work, we propose a zero-shot text-driven framework, Text2Light, to generate 4K+ resolution HDRIs without paired training data. Given a free-form text as the description of the scene, we synthesize the corresponding HDRI with two dedicated steps: 1) text-driven panorama generation in low dynamic range(LDR) and low resolution, and 2) super-resolution inverse tone mapping to scale up the LDR panorama both in resolution and dynamic range. Specifically, to achieve zero-shot text-driven panorama generation, we first build dual codebooks as the discrete representation for diverse environmental textures. Then, driven by the pre-trained CLIP model, a text-conditioned global sampler learns to sample holistic semantics from the global codebook according to the input text. Furthermore, a structure-aware local sampler learns to synthesize LDR panoramas patch-by-patch, guided by holistic semantics. To achieve super-resolution inverse tone mapping, we derive a continuous representation of 360-degree imaging from the LDR panorama as a set of structured latent codes anchored to the sphere. This continuous representation enables a versatile module to upscale the resolution and dynamic range simultaneously. Extensive experiments demonstrate the superior capability of Text2Light in generating high-quality HDR panoramas. In addition, we show the feasibility of our work in realistic rendering and immersive VR.

研究の動機と目的

• 複雑で高解像度のシーンにおける、ゼロショット、テキスト駆動型HDRパノラマ生成の欠如に対処すること。
• 対応する学習データが存在しない状況下で、解像度、構造的整合性、テキストとの整合性、および高動的範囲（HDR）合成の課題を克服すること。
• 一般ユーザーが自由形式の自然言語記述のみで写真のようにリアルなHDRIsを生成できるようにすること。
• LDRパノラマ生成とスーパーサンプリングおよび逆トーンマップ処理を分離する二段階フレームワークを構築し、最適化と忠実度の向上を図ること。
• 今後のテキストからHDRIsへの生成に関する研究を支援するため、多様で高品質なHDRIデータセットを提供すること。

提案手法

• グローバルコードブック（粗い意味的特徴）とローカルコードブック（細かいテクスチャ）の二重コードブック表現を導入し、環境シーンの階層的離散モデリングを可能にする。
• CLIPをテキストエンコーダーとして用い、テキスト条件付きグローバルサンプラーがグローバルコードブックから包括的なシーン意味を抽出できるようにする。
• 構造に配慮したローカルサンプラーを実装し、グローバル意味とローカルコンテキストの両方に条件付けられた形で、パッチごとにLDRパノラマを生成する。
• LDRパノラマを連続的な球面的潜在コードのフィールドとして表現することで、同時にスーパーサンプリングと逆トーンマップ処理を可能にする。
• スーパーサンプリング用と逆トーンマップ用の二本のMLPアーキテクチャを設計し、最適化の分離と勾配干渉の防止を目的とした別々の損失関数を導入する。
• 逆トーンマップモジュールにおいて、球面座標をインダクティブバイアスとして活用し、太陽や照明のような高輝度領域における空間的一致性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 対応するテキスト-画像学習データが存在しない状況下でも、ゼロショット、テキスト駆動型フレームワークが4K以上の解像度のHDRパノラマを生成できるか？
• RQ2 自由形式のテキストからのシーンレベルのパノラマ生成において、構造的整合性と包括的な意味的特徴をどのように維持できるか？
• RQ3 連続的な球面的潜在空間上で、スーパーサンプリングと逆トーンマップを同時に最適化することで、高解像度と高動的範囲を同時に達成できるか？
• RQ4 CLIPベースのテキスト条件付けは、入力記述と生成されたHDRIsとの間で、どの程度正確な整合性を実現できるか？
• RQ5 二重コードブックと階層的サンプリング戦略は、多様な環境テクスチャと複雑なシーンレイアウトのモデリングにおいて、どの程度有効であるか？

主な発見

• Text2Lightは、いかなる対応する学習データが不要な状況下でも、自由形式のテキスト記述から4K以上の解像度のHDRパノラマを生成でき、ゼロショット能力を実証した。
• 二重コードブックとCLIP駆動のサンプリングフレームワークにより、テキストプロンプトに強く意味的に整合する複雑なシーンの高忠実度合成が可能になった。
• 二本のMLPアーキテクチャを用いたスーパーサンプリングと逆トーンマップの設計は、単一のMLPベースラインを上回り、アブレーションスタディにより最適化と忠実度の向上が確認された。
• 球面的潜在表現により、解像度と動的範囲の効果的な同時アップスケーリングが可能となり、高輝度領域における空間的一致性が保持された。
• 生成されたHDRIsは、写真のようにリアルなレンダリングパイプラインで直接利用可能であり、3Dアセットにリアルな照明と360度の反射を生成した。
• フレームワークは、テキストによる没入型VRやシーン編集をサポートしており、例として「レンガの道」や「木をもっと追加」などの記述で既存のシーンを変更可能であり、制御性と編集可能性を示した。