[논문 리뷰] Text2Light: Zero-Shot Text-Driven HDR Panorama Generation

Zhaoxi Chen, Guangcong Wang외 1명|arXiv (Cornell University)|2022. 09. 20.

Advanced Vision and Imaging인용 수 10

한 줄 요약

Text2Light는 쌍화된 훈련 데이터 없이 4K 이상 해상도의 HDR 파ano라마를 생성하기 위한 제로샷, 텍스트 기반 프레임워크를 제안한다. 이는 먼저 이중 코드북과 CLIP 기반 샘플링 기법을 사용해 저조도(Low Dynamic Range, LDR)이자 저해상도의 파노라마를 생성한 후, 구형 잠재 표현을 통해 초해상도화 및 역조도맵핑을 수행함으로써 자유형 텍스트 프롬프트와 정확히 일치하는 고 fidelity, 사실적인 HDRIs를 달성한다.

ABSTRACT

High-quality HDRIs(High Dynamic Range Images), typically HDR panoramas, are one of the most popular ways to create photorealistic lighting and 360-degree reflections of 3D scenes in graphics. Given the difficulty of capturing HDRIs, a versatile and controllable generative model is highly desired, where layman users can intuitively control the generation process. However, existing state-of-the-art methods still struggle to synthesize high-quality panoramas for complex scenes. In this work, we propose a zero-shot text-driven framework, Text2Light, to generate 4K+ resolution HDRIs without paired training data. Given a free-form text as the description of the scene, we synthesize the corresponding HDRI with two dedicated steps: 1) text-driven panorama generation in low dynamic range(LDR) and low resolution, and 2) super-resolution inverse tone mapping to scale up the LDR panorama both in resolution and dynamic range. Specifically, to achieve zero-shot text-driven panorama generation, we first build dual codebooks as the discrete representation for diverse environmental textures. Then, driven by the pre-trained CLIP model, a text-conditioned global sampler learns to sample holistic semantics from the global codebook according to the input text. Furthermore, a structure-aware local sampler learns to synthesize LDR panoramas patch-by-patch, guided by holistic semantics. To achieve super-resolution inverse tone mapping, we derive a continuous representation of 360-degree imaging from the LDR panorama as a set of structured latent codes anchored to the sphere. This continuous representation enables a versatile module to upscale the resolution and dynamic range simultaneously. Extensive experiments demonstrate the superior capability of Text2Light in generating high-quality HDR panoramas. In addition, we show the feasibility of our work in realistic rendering and immersive VR.

연구 동기 및 목표

• 복잡한 고해상도 환경에 대해 제로샷, 텍스트 기반 HDR 파노라마 생성의 부족을 보완한다.
• 쌍화된 훈련 데이터 없이도 해상도, 구조적 일관성, 텍스트 일치, 고역동범위(HDR) 합성의 과제를 극복한다.
• 일반 사용자가 자유형 자연어 기술서만으로 사실적인 HDRIs를 생성할 수 있도록 한다.
• LDR 파노라마 생성과 초해상도 및 역조도맵핑을 분리하는 두 단계 프레임워크를 개발하여 최적화 및 정확도 향상을 도모한다.
• 미래의 텍스트-에서-HDRI 생성 연구를 지원하기 위해 다양한 고품질 HDRI 데이터셋 기여

제안 방법

• 전역 코드북은 거시적 의미를, 국소 코드북은 세밀한 질감을 담당하는 이중 코드북 표현을 도입하여 환경 장면의 계층적 이산 모델링을 가능하게 한다.
• CLIP을 텍스트 인코더로 사용해 전역 샘플러를 텍스트 조건화하여 전역 코드북에서 통합적인 장면 의미를 선택한다.
• 전역 의미와 국소적 맥락을 모두 조건으로 삼아, 국소적 구조 인식 샘플러를 구현하여 LDR 파노라마를 패치 단위로 생성한다.
• LDR 파노라마를 연속적인 구형 잠재 필드로 표현하여 초해상도화와 역조도맵핑을 동시에 수행할 수 있도록 한다.
• 초해상도와 역조도맵핑을 위한 별도의 손실 함수를 갖는 이중 브랜치 MLP 아키텍처를 설계하여 최적화를 분리하고 기울기 간섭을 방지한다.
• 역조도맵핑 모듈에서 구형 좌표를 인덕티브 바이어스로 활용하여 햇빛이나 조명과 같은 고광도 영역에서 공간 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 제로샷, 텍스트 기반 프레임워크가 쌍화된 텍스트-이미지 훈련 데이터 없이 4K 이상 해상도의 HDR 파노라마를 생성할 수 있는가?
• RQ2 자유형 텍스트에서 장면 수준의 파노라마 생성 시 구조적 일관성과 통합적 의미를 어떻게 유지할 수 있는가?
• RQ3 연속적인 구형 잠재 공간에서 초해상도화와 역조도맵핑을 동시에 최적화하여 고해상도 및 고역동범위를 동시에 달성할 수 있는가?
• RQ4 CLIP 기반 텍스트 조건화가 입력 기술서와 생성된 HDRIs 간의 정확한 일치를 얼마나 잘 달성하는가?
• RQ5 이중 코드북과 계층적 샘플링 전략이 다양한 환경 질감과 복잡한 장면 레이아웃을 모델링하는 데 얼마나 효과적인가?

주요 결과

• Text2Light는 쌍화된 훈련 데이터 없이도 자유형 텍스트 기술서에서 4K 이상 해상도의 HDR 파노라마를 성공적으로 생성하여 제로샷 능력을 입증한다.
• 이중 코드북과 CLIP 기반 샘플링 프레임워크는 텍스트 프롬프트와 강한 의미 일치를 보이며, 복잡한 장면의 고정밀 합성을 가능하게 한다.
• 이중 브랜치 초해상도 및 역조도맵핑 설계는 단일 MLP 베이스라인보다 우수하며, 아블레이션 연구를 통해 개선된 최적화와 정확도를 확인했다.
• 구형 잠재 표현은 효율적인 해상도 및 동역 범위 동시 확대를 가능하게 하여 고광도 영역에서 공간 일관성을 유지한다.
• 생성된 HDRIs는 직접적으로 사실적인 렌더링 파이프라인에 사용 가능하며, 3D 자산에 현실적인 조명과 360도 반사 효과를 생성한다.
• 이 프레임워크는 '벽돌 길'이나 '더 많은 나무'와 같은 텍스트로 기존 장면을 수정할 수 있는 몰입형 VR 및 장면 편집을 지원하여 제어성과 편집 가능성을 입증한다.