[논문 리뷰] ControlMat: A Controlled Generative Approach to Material Capture

Giuseppe Vecchio, R Víctor San Martín외 5명|arXiv (Cornell University)|2023. 09. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 61인용 수 4

한 줄 요약

ControlMat는 제약 없는 조명 조건 하에서 단일 사진으로부터 고해상도, 타일링 가능하고 물리적으로 기반한 재질 특성(베이스컬러, 거칠기, 금속성, 노말, 높이, 투명도)을 추론하는 확산 기반 생성 프레임워크를 소개한다. ControlNet 조건부 적용, 노이즈 롤링, 패치 기반 확산, 다중 해상도 추론을 통해 잡음 제거 과정을 조정함으로써 고정밀도, 타일링 가능한 재질 생성을 가능하게 하며, 이는 이전의 최적화 기반 및 GAN 기반 방법들을 능가한다.

ABSTRACT

Material reconstruction from a photograph is a key component of 3D content creation democratization. We propose to formulate this ill-posed problem as a controlled synthesis one, leveraging the recent progress in generative deep networks. We present ControlMat, a method which, given a single photograph with uncontrolled illumination as input, conditions a diffusion model to generate plausible, tileable, high-resolution physically-based digital materials. We carefully analyze the behavior of diffusion models for multi-channel outputs, adapt the sampling process to fuse multi-scale information and introduce rolled diffusion to enable both tileability and patched diffusion for high-resolution outputs. Our generative approach further permits exploration of a variety of materials which could correspond to the input image, mitigating the unknown lighting conditions. We show that our approach outperforms recent inference and latent-space-optimization methods, and carefully validate our diffusion process design choices. Supplemental materials and additional details are available at: https://gvecchio.com/controlmat/.

연구 동기 및 목표

• 제약 없는 조명 조건 하에서 단일 이미지 재질 캡처 문제를 제어 가능한 생성 합성 작업으로 재정의하여 해결한다.
• 제어된 조명이나 다중 촬영이 필요 없이 단일 입력 이미지로부터 고해상도, 타일링 가능하고 물리적으로 타당한 재질 생성을 가능하게 한다.
• GAN 기반 및 잠재 최적화 방법의 한계(예: 모드 붕괴 및 불안정성)를 극복하기 위해 확산 모델의 안정성과 제어 가능성의 이점을 활용한다.
• 임의의 해상도 생성을 지원하면서도 타일링 가능성과 잡음 제거를 유지하는 확산 추론 프로세스를 설계한다.
• 아블레이션 및 최신 기술과의 정량적 비교를 통해 아키텍처 및 추론 시점의 수정 효과를 검증한다.

제안 방법

• ControlMat는 Substance 3D Materials 데이터베이스에서 유래한 1,000만 개의 PBR 재질 렌더링을 기반으로 훈련된 잠재 확산 모델(MatGen)을 사용하여 9채널 SVBRDF 출력을 생성한다.
• 단일 입력 사진을 조건부로 적용하여 확산 과정을 조절하는 ControlNet을 훈련시켜 이미지 유도 재질 특성 생성을 가능하게 한다.
• 노이즈 제거 과정 중에 노이즈 롤링을 도입하여 주기적 경계 조건을 강제 적용함으로써 타일링 가능한 출력 생성을 보장한다.
• 피크 메모리 소비를 줄이기 위해 패치 기반 확산 및 복원 기법을 적용하여 메모리 사용량을 일정하게 유지하면서 4K 해상도까지 생성이 가능하게 한다.
• 특징의 정밀도를 향상시키기 위해 다중 해상도 확산을 사용하며, 겹치는 패치의 블렌딩과 평균 일치 기법을 통해 틈새를 제거한다.
• 경계 보정을 적용하여 타일링 적용 시 구조 손실를 방지하고 비일관성 문제를 수정한다.

실험 결과

연구 질문

• RQ1 제약 없는 단일 사진을 효과적으로 조건부로 적용하여 고해상도, 물리적으로 기반한, 타일링 가능한 재질을 생성할 수 있는가?
• RQ2 확산 샘플링 과정을 어떻게 수정하면 해상도나 품질을 훼손하지 않으면서도 타일링 가능성을 보장할 수 있는가?
• RQ3 다중 해상도, 패치 기반, 롤링된 노이즈 전략이 제한된 메모리 환경에서 고해상도 생성을 어떻게 가능하게 하는가?
• RQ4 정밀도, 다양성, 조명 변화에 대한 강건성 측면에서 생성 기반 접근법이 최적화 기반 또는 GAN 기반 방법보다 어떻게 비교되는가?
• RQ5 모델은 구조적 또는 무작위 재질에 얼마나 잘 일반화되는가? 실패는 어디에서 발생하는가?

주요 결과

• ControlMat는 최근의 추론 및 잠재 최적화 방법(예: GAN 기반 및 CLIP 기반 이미지 번역 기반 방법 포함)과 비교해 우수한 정성적 및 정량적 성능을 달성한다.
• 아블레이션 연구를 통해 노이즈 롤링, 패치 기반 복원, 평균 일치, 다중 해상도 확산 각각의 구성 요소가 타일링 가능성 향상과 잡음 감소에 크게 기여하는 것으로 확인되었다.
• 패치 기반 복원을 통해 2K 해상도에서 피크 메모리 소비를 20GB에서 14GB로 감소시켜 이전에는 불가능했던 4K 생성을 가능하게 하였다.
• 보조 자료에서 검증된 lin에 따라, ControlMat는 최소한의 틈새와 손실 없는 신호를 유지하면서 4K 타일링 가능한 재료를 성공적으로 생성하였다.
• 생성 기반 특성에도 불구하고 ControlMat는 높은 시각적 정밀도를 제공하지만, 강한 비닝게팅이 있는 경우와 같은 도전적인 케이스에서는 미세한 색상 이동 또는 잘못된 금속성 할당이 발생할 수 있다.
• 플래시 조명 입력에 대해서도 잘 일반화되어 있어 향후 촬영 정밀도 향상 가능성을 시사한다.