[논문 리뷰] Image-based remapping of spatially-varying material appearance

Alejandro Sztrajman, Jaroslav Křivánek외 2명|arXiv (Cornell University)|2018. 08. 20.

Image Processing and 3D Reconstruction참고 문헌 8인용 수 4

한 줄 요약

이 논문은 렌더링 시스템 간에 공간적으로 변화하는 BRDF를 셰이더 구현을 알지 못한 채로 자동으로 재매핑하는 이미지 기반 방법을 제시한다. 통제된 조명 조건 하에서 벇힌 이미지를 사용해 SSIM를 통해 외관을 비교함으로써, 강건한 매개변수 변환을 가능하게 하며, 기존 방법에 비해 보다 우수한 외삽 성능을 보이는 파라메트릭 회귀 모델을 추가로 도입하여 실시간으로 빠르게 텍스처 매핑을 재매핑할 수 있다.

ABSTRACT

BRDF models are ubiquitous tools for the representation of material appearance. However, there is now an astonishingly large number of different models in practical use. Both a lack of BRDF model standardisation across implementations found in different renderers, as well as the often semantically different capabilities of various models, have grown to be a major hindrance to the interchange of production assets between different rendering systems. Current attempts to solve this problem rely on manually finding visual similarities between models, or mathematical ones between their functional shapes, which requires access to the shader implementation, usually unavailable in commercial renderers. We present a method for automatic translation of material appearance between different BRDF models, which uses an image-based metric for appearance comparison, and that delegates the interaction with the model to the renderer. We analyse the performance of the method, both with respect to robustness and visual differences of the fits for multiple combinations of BRDF models. While it is effective for individual BRDFs, the computational cost does not scale well for spatially-varying BRDFs. Therefore, we further present a parametric regression scheme that approximates the shape of the transformation function and generates a reduced representation which evaluates instantly and without further interaction with the renderer. We present respective visual comparisons of the remapped SVBRDF models for commonly used renderers and shading models, and show that our approach is able to extrapolate transformed BRDF parameters better than other complex regression schemes.

연구 동기 및 목표

• 상업용 렌더러 간 BRDF 모델의 표준화 부족으로 인한 자산 교환의 어려움을 해결하기 위해.
• 셰이더 접근이 필요하거나 매개변수 매핑을 과도하게 단순화하는 수동 또는 히우리스틱 기반의 재매핑 방법의 한계를 극복하기 위해.
• 입력 매개변수와 출력 렌더링만을 이용해 다양한 BRDF 모델 간 재료 외관을 자동으로 번역할 수 있는 렌더러 독립적인 방법을 개발하기 위해.
• 파라메트릭 회귀를 통해 계산 비용을 줄여 공간적으로 변화하는 BRDF(SVBRDF)의 효율적인 재매핑을 가능하게 하기 위해.
• 다양한 BRDF와 조명 조건에서 재매핑된 재료의 시각적 정확도와 강건성을 향상시키기 위해.

제안 방법

• 동일한 조명 조건에서 같은 재료의 렌더링 간 구조적 유사도(SSIM)를 통한 이미지 기반 외관 비교를 통해 BRDF 차이를 정량화한다.
• 수정 최적화를 위한 충분한 조명을 확보하기 위해 헤드라이트 또는 비직진 조명 설정을 사용하여 BRDF 응답을 여러 방향으로 샘플링한다.
• 기준 BRDF와 대상 BRDF 렌더링 간 SSIM 기반 이질성의 수치적 최소화를 통한 매개변수 최적화를 수행한다.
• 다항식 피팅을 사용해 BRDF 매개변수 간 변환 함수를 근사하는 파라메트릭 회귀 모델을 구축한다.
• 샘플링된 매개변수 쌍 세트를 기반으로 회귀 모델을 훈련시켜 실시간 SVBRDF 재매핑을 위한 컴act하고 빠른 평가 표현을 생성한다.
• 다중 BRDF 쌍 간의 회귀 모델 조합을 통해 변환 체인을 가능하게 하여 다단계 재매핑 워크플로우를 지원한다.

실험 결과

연구 질문

• RQ1 셰이더 코드에 접근할 수 없더라도 SSIM과 같은 이미지 기반 메트릭이 BRDF 간의 인지적 차이를 효과적으로 포착할 수 있는가?
• RQ2 특히 다양한 조명 조건과 재료 유형에서, 재매핑 과정의 강건성은 어떠한가?
• RQ3 최소한의 렌더러 접근을 통해 파라메트릭 회귀 모델이 BRDF 매개변수 변환을 정확히 근사할 수 있는가?
• RQ4 기존의 서포트 벡터 회귀(SVR)와 비교해 제안된 회귀 방법이 미훈련된 매개변수 영역에서 더 나은 일반화 성능을 보이는가?
• RQ5 재매핑 중 조명 설정이 최종 재료 외관의 시각적 품질과 안정성에 어떤 영향을 미치는가?

주요 결과

• 이미지 기반 재매핑 방법은 다양한 BRDF 조합에서 높은 시각적 정확도를 달성하였으며, SSIM 기반 최적화가 인지적 차이를 효과적으로 최소화함을 확인하였다.
• 헤드라이트 조명 대비 비직진 조명(예: θₗ = 45°)을 사용할 경우 평균 이질성 오차가 최대 10% 감소하여 강건성이 향상됨을 확인하였다.
• 파라메트릭 회귀 모델은 추가적인 렌더러 상호작용 없이도 재매핑된 SVBRDF 텍스처 매핑을 즉각 평가할 수 있도록 함으로써 실시간 성능을 보장한다.
• 특히 훈련되지 않은 매개변수 영역에서 기존의 서포트 벡터 회귀(SVR)에 비해 더 뛰어난 외삽 성능을 보였다.
• 시각적 비교를 통해 긁힌 금속, 파란 플라스틱, 황동 조각 등 복잡한 재료들에 대해서도 일관되고 현실적인 결과를 생성함을 확인하였다.
• 본 방법은 변환 체인을 지원하여 다중 렌더러 워크플로우에서 여러 BRDF 모델 간 원활한 전환을 가능하게 한다.