[논문 리뷰] NeuMIP: Multi-Resolution Neural Materials

Alexandr Kuznetsov, Krishna Mullia외 3명|arXiv (Cornell University)|2021. 04. 06.

Computer Graphics and Visualization Techniques참고 문헌 18인용 수 12

한 줄 요약

NeuMIP는 다중 해상도 신경 텍스처 피라미드와 학습 가능한 오프셋 모듈을 사용하여 전통적인 마이핑 기법을 일반화한 신경 다중 해상도 재질 표현 방식을 제안한다. 이는 섬유, 편평한 시각 효과(parallax), 자가 그림자(self-shadowing)와 같은 복잡한 재질 특성을 다중 수준의 해상도에서 정확하고 테셀레이션 없이 렌더링할 수 있도록 한다. 이 방법은 최소한의 저장 공간과 학습 시간(단일 GPU에서 약 45분)으로도 고해상도 결과를 도출하며, 비선형 반사 특성과 기하학적 복잡성을 다루는 데 있어 이전 기법들을 능가한다.

ABSTRACT

We propose NeuMIP, a neural method for representing and rendering a variety of material appearances at different scales. Classical prefiltering (mipmapping) methods work well on simple material properties such as diffuse color, but fail to generalize to normals, self-shadowing, fibers or more complex microstructures and reflectances. In this work, we generalize traditional mipmap pyramids to pyramids of neural textures, combined with a fully connected network. We also introduce neural offsets, a novel method which allows rendering materials with intricate parallax effects without any tessellation. This generalizes classical parallax mapping, but is trained without supervision by any explicit heightfield. Neural materials within our system support a 7-dimensional query, including position, incoming and outgoing direction, and the desired filter kernel size. The materials have small storage (on the order of standard mipmapping except with more texture channels), and can be integrated within common Monte-Carlo path tracing systems. We demonstrate our method on a variety of materials, resulting in complex appearance across levels of detail, with accurate parallax, self-shadowing, and other effects.

연구 동기 및 목표

• 기존의 마이핑 기법이 복잡한 재질 특성(예: 법선, 섬유, 자가 그림자)을 다루는 데에 한계가 있다는 문제를 해결하기 위해.
• 기존의 마이핑 피라미드를 다중 척도 및 연속적인 이방향 텍스처 함수(MBTF)를 지원하는 신경 텍스처 피라미드로 일반화하기 위해.
• 명시적인 테셀레이션 또는 고도 지도 기하 구조 없이도 복잡한 기하학적 특징(예: 이격, 편평한 시각 효과)을 정확하게 렌더링할 수 있도록 하기 위해.
• 비지도 학습 방식으로 학습된 신경 오프셋 모듈을 개발하여 학습된 텍스처 좌표 조정을 통해 편평한 시각 효과를 시뮬레이션하기 위해.
• 기본 몬테카를로 경로 추적기와 호환되는 컴act하고 일반화 가능한 신경 재질 표현 방식을 개발하기 위해.

제안 방법

• 이 방법은 각 수준에서 다양한 해상도의 재질 세부 정보를 위한 학습된 특징 벡터를 저장하는 다중 해상도 신경 텍스처 피라미드를 사용한다.
• 완전 연결 신경망은 삼선형 보간된 특징 벡터와 입사 및 산란 방향을 조합하여 반사값을 산출한다.
• 새로운 신경 오프셋 모듈은 시야 방향에 따라 텍스처 쿼리 위치를 조정함으로써 테셀레이션 없이도 편평한 시각 효과를 구현한다.
• 이 아키텍처는 7차원 입력을 지원한다: 위치(2D), 입사 방향(2D), 산란 방향(2D), 필터 커널 크기(1D)로, 해상도 인식 렌더링이 가능하다.
• 학습은 고도 지도나 명시적 기하 구조에 대한 지도 없이, 다양한 해상도에서 텍셀당 약 200~400개의 반사 쿼리 샘플링을 통해 수행된다.
• 시스템은 표준 몬테카를로 경로 추적기에 통합되어 수준 간의 원활한 렌더링을 지원한다.

실험 결과

연구 질문

• RQ1 신경 표현이 기존의 마이핑 기법을 복잡한 비선형 재질 특성(예: 자가 그림자, 섬유 구조)을 다룰 수 있도록 일반화할 수 있는가?
• RQ2 학습 가능한 오프셋 메커니즘이 명시적 기하 구조나 고도 지도 지도 없이도 편평한 시각 효과를 시뮬레이션할 수 있는가?
• RQ3 작은 저장 공간과 학습 오버헤드로도 다양한 재질을 다중 척도에서 통합된 신경 아키텍처로 표현할 수 있는가?
• RQ4 텍셀당 소수의 무작위 쿼리로 구성된 신경 텍스처 피라미드가 다양한 조명 조건과 시점에서 고해상도의 외관을 얼마나 잘 유지할 수 있는가?
• RQ5 이 방법은 전통적인 마이핑 기법에서 흔히 발생하는 아티팩트 없이도 복잡한 미세 구조를 정확하게 프리필터링할 수 있는가?

주요 결과

• NeuMIP는 섬유 기반의 구조, 직조물, 천 등의 복잡한 재질을 다중 수준의 해상도에서 정확한 편평한 시각 효과와 자가 그림자를 포함해 고해상도로 렌더링한다.
• 신경 오프셋 모듈은 테셀레이션 없이도 실제 기하 이격 구조와 유사한 외관을 보이는 현실적인 편평한 시각 효과를 생성한다.
• 512² 해상도 재질에 대해 단일 GPU에서 약 45분의 학습 시간으로도 충분히 빠르며, 명시적 BTF 측정이나 고해상도 기하 구조 생성에 비해 훨씬 빠르다.
• 저장 요구 사항은 기존 마이핑과 유사하며(텍셀당 7채널), 기존 렌더링 파이프라인에 효율적으로 통합할 수 있다.
• 다양한 조명 조건과 카메라 각도에서 수준 간의 부드러운 전환과 최소한의 아티팩트, 강한 视覚 일관성을 보여준다.
• 이 방법은 다양한 재질 유형으로 일반화되며, 합성 및 실제 세계 데이터 모두를 지원하며, 섬유 기하학과 측정된 반사 특성에서 유래한 재질도 처리할 수 있다.